[論文レビュー] Estimating Training Data Influence by Tracing Gradient Descent

Garima Pruthi, Frederick Liu+2 more|arXiv (Cornell University)|Feb 19, 2020

AI and HR Technologies被引用数 121

ひとこと要約

TracIn は、トレーニングデータがテスト予測に与える影響を、トレーニングの反復全体にわたる1次勾配寄与を集計することで追跡し、モデルやタスクを横断して利用可能なスケーラブルな、チェックポイントベースの影響指標を提供します。

ABSTRACT

We introduce a method called TracIn that computes the influence of a training example on a prediction made by the model. The idea is to trace how the loss on the test point changes during the training process whenever the training example of interest was utilized. We provide a scalable implementation of TracIn via: (a) a first-order gradient approximation to the exact computation, (b) saved checkpoints of standard training procedures, and (c) cherry-picking layers of a deep neural network. In contrast with previously proposed methods, TracIn is simple to implement; all it needs is the ability to work with gradients, checkpoints, and loss functions. The method is general. It applies to any machine learning model trained using stochastic gradient descent or a variant of it, agnostic of architecture, domain and task. We expect the method to be widely useful within processes that study and improve training data.

研究の動機と目的

• 個々のトレーニング例が特定のテスト予測にどのように影響するかを定量化する必要性を動機づける。
• 実用的な勾配ベースの影響度測定として TracIn を導入する。
• 1次近似、チェックポイント、選択的な層を用いたスケーラブルな実装を提供する。
• TracIn がアーキテクチャやドメイン、SGD に基づく訓練を横断して一般化することを示す。
• データクリーニングと誤ラベリング検出への応用を示唆する。

提案手法

• TracIn を、トレーニング例が使用される反復全体にわたる1次勾配のドット積の和として定義する: TracIn(z, z') = sum_t or minibatch t of eta_t * grad l(w_t, z') · grad l(w_t, z).
• ミニバッチへの拡張として 1/b のスケーリングを適用: TracIn(z, z') = (1/b) sum_t: z in B_t eta_t grad l(w_t, z') · grad l(w_t, z).
• 更新ごとのテスト損失変化の1次テイラー展開を用いて理想的な影響を近似する。
• TracInCP を導入し、チェックポイントを用いて訓練ステップを再現し、選択されたチェックポイントで勾配を総和する: TracInCP(z, z') = sum_i eta_i grad l(w_{t_i}, z) · grad l(w_{t_i}, z').
• 有益な信号を保ちつつ計算量を削減するための層の選択とチェックポイントの活用に関する実用的な指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングの反復からの勾配を用いて、個々のトレーニング例が特定のテスト予測にどのように影響するかを定量化できるか。
• RQ2 チェックポイントベースの1次近似は、モデルやタスク間で訓練データの影響をスケーラブルかつ正確に測定できるか。
• RQ3 誤ラベルデータやテスト予測に最も影響を与えるデータポイントを特定する際、TracIn は従来の影響度手法（例: influence functions, representer point selection）とどのように比較されるか。
• RQ4 実際の訓練パイプラインにおいて、ミニバッチの扱い、層の選択、学習率スケジュールなど、どのような実務的考慮事項が TracIn の精度と有用性に影響するか。

主な発見

• TracIn は、CIFAR-10 および MNIST の実験で、mislabelled training data の識別において influence functions および representer points を上回る。
• チェックポイントを用いた TracInCP を使用すると、ランキングの初期段階で mislabelled data の大きな割合を回収できる（例: CIFAR-10 のランキングの最初の 20% で 80% 以上を回収）。
• 1次近似は実際の損失変化と高い相関を示し、MNIST の実験で Pearson 相関は約 0.978。
• 異なるチェックポイントは相補情報を提供し、損失低減の高いチェックポイントをサンプリングすることで信号が改善される。
• TracIn は ImageNet の ResNet-50 のような大規模モデルにもスケールし、勾配を低次元表現に射影して動作させることができる（FC 層のランク1勾配構造）。
• TracIn は、テスト予測に対する支持者（正の影響）と反対者（負の影響）といった解釈可能な洞察を提供し、誤ラベルデータの是正などのデータ中心の改善にも役立つ。