[論文レビュー] Theoretical and Practical Perspectives on what Influence Functions Do

Andrea Schioppa, Katja Filippova+2 more|arXiv (Cornell University)|May 26, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、深層ネットワークにおけるパラメータの乖離のため、影響関数（IFs）が微調整ステップの短い期間にしかモデルの挙動を予測できないことを明確にしている。長期的な1例除き再訓練効果を予測できないにもかかわらず、IFsは影響力のある学習例を特定し、それらの例に対して少数のステップでターゲットに微調整することによって誤予測を是正するという、モデルデバッグにおいて有用である。

ABSTRACT

Influence functions (IF) have been seen as a technique for explaining model predictions through the lens of the training data. Their utility is assumed to be in identifying training examples "responsible" for a prediction so that, for example, correcting a prediction is possible by intervening on those examples (removing or editing them) and retraining the model. However, recent empirical studies have shown that the existing methods of estimating IF predict the leave-one-out-and-retrain effect poorly. In order to understand the mismatch between the theoretical promise and the practical results, we analyse five assumptions made by IF methods which are problematic for modern-scale deep neural networks and which concern convexity, numeric stability, training trajectory and parameter divergence. This allows us to clarify what can be expected theoretically from IF. We show that while most assumptions can be addressed successfully, the parameter divergence poses a clear limitation on the predictive power of IF: influence fades over training time even with deterministic training. We illustrate this theoretical result with BERT and ResNet models. Another conclusion from the theoretical analysis is that IF are still useful for model debugging and correcting even though some of the assumptions made in prior work do not hold: using natural language processing and computer vision tasks, we verify that mis-predictions can be successfully corrected by taking only a few fine-tuning steps on influential examples.

研究の動機と目的

• 深層ニューラルネットワークにおける影響関数（IFs）が、理論的期待と実証的失敗の間にある、1例除き再訓練（LSOR）効果を予測できないという矛盾を解消すること。
• 現代の深層学習環境において崩壊する可能性のある、IF手法の根幹的仮定を同定・分析すること。
• IFsが現実的に何を予測できるかを明確にすること、特に微調整中のパラメータおよび損失の変化に関して。
• 誤予測を影響力のある例に対するターゲットに微調整することで是正するという、実用的なIFsの応用を検証すること。
• パラメータの乖離に関する理論的上限を確立し、IF予測が時間とともに劣化することを示すこと。

提案手法

• IF手法における5つの主要仮定（凸性、数値的安定性、トレーニング軌道の一貫性、損失の摂動下でのパラメータの乖離）の理論的分析。
• 定理1の証明：ヘッセ行列に基づくIFsは、厳密な凸性がなくても、摂動された損失の近傍の停留点を近似可能である。
• 定理2による理論的分析：損失が摂動された場合にトレーニング軌道がどのように乖離するかを示し、時間経過とともに一次近似が無効になること。
• 離散グロワールの補題を用いたパラメータ乖離の上界の導出（定理3）、IF予測の劣化が時間経過とともに生じることを示す。
• BERTおよびResNetモデルを用いたIFの予測力の低下を実証的に検証し、IFランク付けとLSOR効果との相関を時間経過とともに測定。
• 2つの実用的是正手法を提案：プロポネント補正（上位k個の影響力のある例のラベル再割り当て）とオポーネントチューニング（上位k個の反対例に対する微調整）、SST2およびCIFAR10で評価、最大50ステップの微調整を想定。

(a)

実験結果

リサーチクエスチョン

• RQ1 理論的根拠があるにもかかわらず、なぜ影響関数は深層ニューラルネットワークにおける1例除き再訓練（LSOR）効果を予測できないのか？
• RQ2 影響関数手法におけるどの仮定が現代の深層学習環境で崩壊し、予測精度にどのように影響するのか？
• RQ3 損失が摂動された状況での微調整中のパラメータ変化を、影響関数はどの程度まで予測可能であり、その予測はどのくらいの期間有効なのか？
• RQ4 長期的な再訓練効果を予測できないとしても、影響関数はモデルデバッグや誤り是正において実用的に有用であるとみなせるか？
• RQ5 時間経過に伴うパラメータの乖離が、影響関数予測の信頼性をどのように制限するのか、そしてそれが理論的に境界づけられるか？

主な発見

• 影響関数は、決定論的トレーニングであっても、時間経過に伴うパラメータの乖離のため、深層ネットワークにおける長期的LSOR効果を予測できない。
• 理論的分析により、凸性や数値的安定性の問題は緩和可能であるが、パラメータの乖離が影響関数の予測範囲を根本的に制限していることが示された。
• 離散グロワールの補題を用いてパラメータ乖離の上界を導出し、実証結果によりこの境界が鋭いことが確認され、IF予測の精度低下が説明された。
• 影響関数は、時間制限付きの微調整ベースの是正プロ rotocol において、モデルデバッグに有効に機能する：誤予測を、影響力のある例に対して数ステップのみで更新することで是正する。
• SST2（BERT）では、プロポネント補正とオポーネントチューニングがランダムベースラインを上回り、成功確率が最大で2%向上し、必要な微調整ステップ数を平均で6%削減した。
• CIFAR10（ResNet）では、取得した例にラベルの不一致があるためオポーネントチューニングはあまり効果がなかったが、プロポネント補正は依然として是正効率を向上させ、IFsの時間制約下での実用的有用性を確認した。

(b)