[論文レビュー] On the Accuracy of Influence Functions for Measuring Group Effects

Pang Wei Koh, Kai-Siang Ang+2 more|arXiv (Cornell University)|May 30, 2019

Advanced Statistical Modeling Techniques参考文献 29被引用数 52

ひとこと要約

本論文は、グループデータの除去に対する影響関数を実証的に分析し、実際の効果との強い順位相関と一貫した過小評価を示し、one-step Newton近似と2つのケーススタディ（CDRとMultiNLI）によって裏付けられている。

ABSTRACT

Influence functions estimate the effect of removing a training point on a model without the need to retrain. They are based on a first-order Taylor approximation that is guaranteed to be accurate for sufficiently small changes to the model, and so are commonly used to study the effect of individual points in large datasets. However, we often want to study the effects of large groups of training points, e.g., to diagnose batch effects or apportion credit between different data sources. Removing such large groups can result in significant changes to the model. Are influence functions still accurate in this setting? In this paper, we find that across many different types of groups and for a range of real-world datasets, the predicted effect (using influence functions) of a group correlates surprisingly well with its actual effect, even if the absolute and relative errors are large. Our theoretical analysis shows that such strong correlation arises only under certain settings and need not hold in general, indicating that real-world datasets have particular properties that allow the influence approximation to be accurate.

研究の動機と目的

• 大規模で一貫したトレーニングポイントのグループを除去する効果を個々のデータポイントを超えて測定する意義を動機づける。
• 影響関数が実データセットのグルー プレ perturbationsに対して情報を保持し続けるかを評価する。
• 予測と実際のグループ効果を関連付ける理論的枠組み（one-step Newton）を開発する。
• 現実のタスクにおけるラベリング関数やクラウドワーカーへのグループ影響の実用的な意味を探る。

提案手法

• 実際のグループ効果 I*_f(w) と影響関数による予測効果 I_f(w) を定義する。
• ヘッセ行列 H と勾配 g を用いて1次のテイラー展開（影響近似）を適用し I_f(w) を計算する。
• ウィンドウ Δθ_Nt(w) を導入して、データポイント w を除去した後のパラメータ変化を近似する。
• 誤差をNewton-実際とNewton-影響の項に分解し、リプシッツ条件の下でそれらを境界づける（命題1–2）。
• 自己損失と単一データ点のコピーを除去する場合へ分析を特化して、コーンのような境界を導く（命題3–4）。
• 五つのデータセットで実証評価を行い、データ取得に関する質問（CDR, MultiNLI）への含意を議論する。

実験結果

リサーチクエスチョン

• RQ1 大規模で一貫したデータグループを除去する際、影響関数は実際のグループ効果と有用な相関を維持するか。
• RQ2 影響に基づく予測が、実際のグループ効果を過小評価したり相関を欠いたりする条件は何か。
• RQ3 one-step Newton近似は予測と実際のグループ効果の観察された相関と過小評価を説明できるか。
• RQ4 グループの影響は、ラベリング関数やクラウドワーカーといった現実のデータ収集シナリオとどう関連するか。

主な発見

• 影響関数は、テスト予測、テスト損失、自己損失において、異なる一貫したグループに対して実際のグループ効果と高い相関を示す（Spearman 0.89–0.99）。
• 予測された影響は、ほとんどのグループ除去で実際の効果を過小評価する傾向があるが、テスト搟失効果が負である場合を除く。
• one-step Newton近似は、予測と実際の効果の関係の多くを説明し、特定の設定下で境界的な誤差のビュー（コーン制約）を提供する。
• 正則化の増加（より大きな λ）はコーンを引き締め、予測と実際の効果の相関を改善する。
• ケーススタディは実践的な洞察を示す：CDRにおけるラベリング関数のカバレッジはテスト損失に対する影響と相関する一方、MultiNLIのクラウドワーカ数は影響を予測しない。