[論文レビュー] A Bayesian Approach To Analysing Training Data Attribution In Deep Learning

Elisa Nguyen, Minjoon Seo+1 more|arXiv (Cornell University)|May 31, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、深層学習におけるトレーニングデータ帰属（TDA）のためのベイジアンフレームワークを導入し、モデルパラメータとTDAスコアを確率的変数として扱い、確率的トレーニングからの不確実性を定量化する。実験の結果、真のTDA値はしばしばモデル初期化とバッチ構成からのノイズに支配され、推定が信頼できる低分散・高信号対比のペアに限ってTDAの使用を推奨する。

ABSTRACT

Training data attribution (TDA) techniques find influential training data for the model's prediction on the test data of interest. They approximate the impact of down- or up-weighting a particular training sample. While conceptually useful, they are hardly applicable to deep models in practice, particularly because of their sensitivity to different model initialisation. In this paper, we introduce a Bayesian perspective on the TDA task, where the learned model is treated as a Bayesian posterior and the TDA estimates as random variables. From this novel viewpoint, we observe that the influence of an individual training sample is often overshadowed by the noise stemming from model initialisation and SGD batch composition. Based on this observation, we argue that TDA can only be reliably used for explaining deep model predictions that are consistently influenced by certain training data, independent of other noise factors. Our experiments demonstrate the rarity of such noise-independent training-test data pairs but confirm their existence. We recommend that future researchers and practitioners trust TDA estimates only in such cases. Further, we find a disagreement between ground truth and estimated TDA distributions and encourage future work to study this gap. Code is provided at https://github.com/ElisaNguyen/bayesian-tda.

研究の動機と目的

• 確率的トレーニングプロセスに起因するトレーニングデータ帰属（TDA）の信頼性の低さを是正すること。
• ベイジアン推論を用いてTDAスコアを確率的変数としてモデル化し、モデル初期化とバッチ構成からの不確実性を捉えること。
• 真のTDA値における信号対ノイズ比を分析することで、TDA手法の信頼性を評価すること。
• 帰属スコアの分散と信号強度に基づき、TDAがいつ信頼できるかを実務家にガイダンスすること。
• 推定されたTDAと真のTDA分布の間のギャップを強調し、評価基準の改善を促すこと。

提案手法

• 学習済みモデルをパラメータ上のベイジアン事後分布 p(θ|𝒟) として扱い、トレーニング結果が初期化とバッチ構成に依存することを認識する。
• TDAスコア τ(zⱼ,z) を、完全なトレーニングセット p(θ|𝒟) と削減されたトレーニングセット p(θ\j|𝒟\j) の2つの事後分布から導出される確率的変数としてモデル化する。
• 期待値 𝔼|τ| と分散 Var(τ) を計算することでTDAの信頼性を定量化し、信号がノイズを上回るケースを特定する。
• サブサンプルされたデータセットと勾配ベースのTDA手法（例：インフルエンス関数、TracIn）を用い、複数のランダムシードとバッチでTDAスコアを推定する。
• 完全な再トレーニングにより得た真のTDA値 τ と推定TDA値 τ′ を比較し、乖離を分析する。
• TDAの分散に寄与する要因（モデルサイズ、データセットサイズ、バッチ構成など）を分析する。

Figure 1 : A Bayesian interpretation of training data attribution (TDA).

実験結果

リサーチクエスチョン

• RQ1 真のトレーニングデータ帰属（TDA）値 τ(zⱼ,z) は、どの程度モデル初期化とSGDバッチ構成からのノイズに支配されているか？
• RQ2 テスト-トレーニングペアのうち、TDAスコアの信号対ノイズ比が推定値の信頼性を保証するほど十分に高いのは何パーセントか？
• RQ3 インフルエンス関数などのTDA推定手法は、1つを除いた再トレーニングによる真のグローバル変化とどの程度一致するか？
• RQ4 推定TDA分布と真のTDA分布の間に乖離が生じる理由は何か？
• RQ5 どのような条件下でTDAを深層モデル意思決定の解釈に信頼して使用できるか？

主な発見

• 真のTDA値 τ(zⱼ,z) は多くの場合、ノイズに支配されており、√Var(τ) > 𝔼|τ| のケースが多数存在し、信頼性に欠ける。
• インフルエンス関数などのTDA手法はモデルの局所的変化しかモデル化できないが、LOO再トレーニングはグローバルな変化を引き起こすため、推定ギャップが生じる。
• 低分散・高信号対比のTDAペアは存在するが稀であり、TDAはこのようなケースに限って信頼できる。
• 大きなモデルや大きなデータセットでは、確率的要因の増加に伴い、TDAスコアの信号対ノイズ比が顕著に低下する。
• 推定TDA分布と真のTDA分布の間には一貫した不一致が見られ、評価指標の改善が求められる。
• TDAスコアの分散は主にモデル初期化とバッチ構成に起因し、モデルの複雑さやデータセットサイズよりも影響が大きい。

Figure 2 : Sources of randomness for Bayesian posteriors. In each case, the training starts from initialisation $\theta_{0}$ . Depending on whether $z_{j}$ is included in the training data, one has either samples from the original posterior $p(\theta|\mathcal{D})$ or from the counterfactual posterio