[論文レビュー] Multi-Stage Influence Function

Hongge Chen, Si Si+5 more|arXiv (Cornell University)|Jul 17, 2020

Topic Modeling参考文献 25被引用数 4

ひとこと要約

この論文は、微調整モデルの予測を事前学習データ内の影響力のある例にまで遡及できる、マルチステージの影響関数を導入する。モデルの凸性を必要とせず、再訓練を伴わない効率的な影響力推定が可能であり、予測された影響力スコアと実際の影響力スコアの間に強い相関（最大0.92）を示す。これは、事前学習段階と微調整段階の両方におけるデータの影響を診断するスケーラブルな手法を提供する。

ABSTRACT

Multi-stage training and knowledge transfer, from a large-scale pretraining task to various finetuning tasks, have revolutionized natural language processing and computer vision resulting in state-of-the-art performance improvements. In this paper, we develop a multi-stage influence function score to track predictions from a finetuned model all the way back to the pretraining data. With this score, we can identify the pretraining examples in the pretraining task that contribute most to a prediction in the finetuning task. The proposed multi-stage influence function generalizes the original influence function for a single model in (Koh & Liang, 2017), thereby enabling influence computation through both pretrained and finetuned models. We study two different scenarios with the pretrained embeddings fixed or updated in the finetuning tasks. We test our proposed method in various experiments to show its effectiveness and potential applications.

研究の動機と目的

• マルチステージ学習における、事前学習データが微調整モデルのパフォーマンスに与える影響を定量的に測定する手法の欠如に取り組むこと。
• 再訓練を伴わず、ブルートフォースな削除の計算的に非現実的な方法を克服して、微調整の予測を事前学習データに遡及する影響力分析を可能にすること。
• 特に「誤った転送（false transfer）」や低ショット学習の状況において、事前学習データが微調整タスクに有益であるか、有害であるかを理解すること。
• 影響力を2つの成分に分解すること：事前学習モデルへの影響力と微調整モデルへの影響力、これにより解釈性を向上させること。
• 固定および更新された埋め込み設定の両方で動作する、スケーラブルな1次近似法を提供すること。

提案手法

• 事前学習と微調整の両段階を通じて、影響力を遡及できるマルチステージの影響関数を提案。これは、Koh & Liang (2017) が提唱した元の影響関数を一般化したものである。
• 事前学習例を削除した際の損失変化の1次近似を用いることで、再訓練を伴わず効率的な計算が可能になる。
• 事前学習済み埋め込みが固定されている場合と、下流タスク中に微調整されている場合の2つの設定について、それぞれ別々に影響力スコアを導出する。
• 事前学習段階と微調整段階の勾配の積として影響力を計算し、影響力のバックプロパゲーション経路を完全に捉える。
• 各事前学習例が微調整タスクの最終予測に与える影響を推定するために、ヤコビアンに基づく近似を採用する。
• 並列計算を適用することで、大規模モデル（例：9360万パラメータのELMo）にもスケーラブルに対応し、各データポイントの影響力が独立に計算可能になる。

実験結果

リサーチクエスチョン

• RQ1 どの事前学習例が下流の微調整タスクの予測に最も寄与しているか？
• RQ2 事前学習と微調整のタスクの類似性が、事前学習データの微調整モデルへの影響に与える依存関係はいかなるものか？
• RQ3 微調整の例の数が、事前学習データのモデル予測への相対的影響力に与える影響は何か？
• RQ4 有害な事前学習データが微調整パフォーマンスに悪影響を与える「誤った転送（false transfer）」を検出できるか？
• RQ5 提案された影響力スコアは、事前学習例を削除した際の真の損失変化とどの程度相関しているか？

主な発見

• 提案されたマルチステージの影響関数は、事前学習例を削除した際の実際の損失差と予測された影響力スコアの間に強い相関（最大0.92）を示した。
• 微調整の例とステップが増えるにつれて、事前学習データの平均絶対影響力スコアは0.15から0.05に減少し、事前学習データへの依存度が低下することが示された。
• ELMoベースのセンチメント分類タスクでは、9360万パラメータのモデルで、1事前学習データポイントあたり平均0.94秒で影響力計算が行われた。
• この手法は、テスト入力と意味的に関連する例（例：政治的指導者や政策意思決定を扱う文）で高い影響力（例：0.0841）を示す事前学習文を効果的に同定した。
• 微調整データが豊富になると、事前学習データの影響力が顕著に減少することが確認され、十分なデータがある場合には微調整データが支配的であることが裏付けられた。
• 意味的にテスト入力と関連のない例（例：影響力 < 10^-6）は低影響力として正しく同定され、この手法の関連性への感受性が検証された。