[論文レビュー] If Influence Functions are the Answer, Then What is the Question?

Juhan Bae, Nathan Ng+3 more|arXiv (Cornell University)|Sep 12, 2022

Neural Networks and Applications被引用数 12

ひとこと要約

この論文は、ニューラルネットワークにおける影響関数が、モデルの非収束、ウォームスタート効果、および暗黙の正則化のため、リーブ・ワン・アウト（LOO）再訓練をうまく近似できないことを特定している。代わりに、影響関数は、新たな目的関数であるプロキシマル・ブレグマン応答関数（PBRF）と非常によく一致する。PBRFは、モデルの一貫性を保ったままデータポイントを削除した際の影響を測定することを意図したものであり、LOO再訓練とは一致しないが、影響関数が依然として有用であることを示している。

ABSTRACT

Influence functions efficiently estimate the effect of removing a single training data point on a model's learned parameters. While influence estimates align well with leave-one-out retraining for linear models, recent works have shown this alignment is often poor in neural networks. In this work, we investigate the specific factors that cause this discrepancy by decomposing it into five separate terms. We study the contributions of each term on a variety of architectures and datasets and how they vary with factors such as network width and training time. While practical influence function estimates may be a poor match to leave-one-out retraining for nonlinear networks, we show they are often a good approximation to a different object we term the proximal Bregman response function (PBRF). Since the PBRF can still be used to answer many of the questions motivating influence functions, such as identifying influential or mislabeled examples, our results suggest that current algorithms for influence function estimation give more informative results than previous error analyses would suggest.

研究の動機と目的

• ニューラルネットワークにおける影響関数が、線形モデルでは成功しているにもかかわらず、リーブ・ワン・アウト（LOO）再訓練をうまく近似できない理由を解明すること。
• 影響関数とLOO再訓練の乖離を、冷スタート対ウォームスタート応答、近接正則化、非収束パラメータ、線形化、線形システムの近似の5つの異なる要因に分解すること。
• 各要因が、ネットワークの幅、深さ、重み減衰、学習時間などのアーキテクチャや学習条件によって、どのように乖離に寄与するかを評価すること。
• 影響関数の真の意図をより的確に反映するため、プロキシマル・ブレグマン応答関数（PBRF）を提示し、より適切な目的関数とすること。
• 影響関数が、誤標識データの検出といった実用的タスクにおいて依然として有効であることを示すこと。これは、PBRFと一致するが、LOO再訓練と一致しないからである。

提案手法

• 影響関数とLOO再訓練の乖離を、(1) 冷スタート対ウォームスタート応答、(2) 暗黙の近接正則化項、(3) 非収束パラメータ、(4) 損失関数の線形化、(5) 線形システムの近似の5つの要因に分解する。
• プロキシマル・ブレグマン応答関数（PBRF）を定義し、元のモデルからの関数空間および重み空間の逸脱を両方ともペナルティ化することで、LOO再訓練よりも影響関数の意図をより的確に捉える新しい目的関数とする。
• 2段階LOO再訓練（全データで学習し、1点を除いたデータで再学習）を用い、学習時間の影響を分離し、PBRFの代理としての役割を果たす。
• バイナリ分類、回帰、画像再構成、画像分類、言語モデリングの複数のタスクにおいて、LOO、PBRF、2段階LOOとのピアソン相関およびスピアマン順位相関を用いて影響関数の性能を評価する。
• ネットワークの幅、深さ、重み減衰、ダミング、削除された点の数を系統的に変化させ、各乖離要因の感度を分析する。
• 汚染されたMNISTデータセット上で、誤標識例の検出に影響関数とPBRFを適用し、上位k個の影響力のある例を調査することで、誤標識データのうち何パーセントが修正可能かを測定する。

実験結果

リサーチクエスチョン

• RQ1 なぜニューラルネットワークにおける影響関数は、線形モデルではうまく機能しているにもかかわらず、リーブ・ワン・アウト再訓練をうまく近似できないのか？
• RQ2 乖離分解における5つの要因（ウォームスタート効果、近接正則化、非収束、線形化、線形システムの近似）の中で、影響関数とLOO再訓練の不一致に最も寄与しているのはどれか？
• RQ3 各乖離要因の寄与度は、モデルの幅、深さ、重み減衰、学習時間、ダミングの変化に伴ってどのように変化するか？
• RQ4 プロキシマル・ブレグマン応答関数（PBRF）は、LOO再訓練よりも影響関数の真の意図をより的確に反映しているのか？また、より適切な評価基準として機能できるか？
• RQ5 影響関数がPBRFと一致するがLOO再訓練と一致しない場合でも、誤標識例の検出といった実用的タスクにおいて依然として有効であるか？

主な発見

• ニューラルネットワークにおける影響関数とLOO再訓練の乖離は、主に(1) 冷スタート対ウォームスタート応答、(2) 暗黙の近接正則化、(3) 非収束パラメータの3つが占めており、これらが大部分の不一致を引き起こしている。
• 関数空間および重み空間の両方で元のモデルからの逸脱をペナルティ化するPBRFは、画像分類や言語モデリングを含む全評価タスクで影響関数の推定と非常によく一致する。
• すべてのデータセットで影響関数とPBRFの相関が高く（ピアソンr > 0.85）、MNIST（r=0.98）やFashionMNIST（r=0.91）でも同様の結果が得られた。一方、LOO再訓練との相関は顕著に低かった。
• 2段階LOO再訓練法は、学習時間の影響を分離することで、ウォームスタート再訓練よりも影響関数との相関が高く（r > 0.5）なった。これは、PBRFの代理としての妥当性を裏付けた。
• 汚染されたMNISTデータセットでは、PBRFスコアを用いて訓練例を優先順位付けすることで、全データの20％を調査するだけで、誤標識データの80％以上を検出できた。これはランダム選択を上回る性能であった。
• 線形化（4）と線形システムの近似（5）の2つは、主な乖離要因の10分の1未満の大きさにとどまり、誤差の主要因とはならないことが示された。