[論文レビュー] TRAK: Attributing Model Behavior at Scale

Sung‐Min Park, Kristian Georgiev+3 more|arXiv (Cornell University)|Mar 24, 2023

COVID-19 diagnosis using AI被引用数 10

ひとこと要約

TRAKは、スケール可能で大規模な微分可能モデルに対して効果的なデータアトリビューション手法であり、訓練済みモデルをわずか数件用いるだけで強力なアトリビューションを達成します。

ABSTRACT

The goal of data attribution is to trace model predictions back to training data. Despite a long line of work towards this goal, existing approaches to data attribution tend to force users to choose between computational tractability and efficacy. That is, computationally tractable methods can struggle with accurately attributing model predictions in non-convex settings (e.g., in the context of deep neural networks), while methods that are effective in such regimes require training thousands of models, which makes them impractical for large models or datasets. In this work, we introduce TRAK (Tracing with the Randomly-projected After Kernel), a data attribution method that is both effective and computationally tractable for large-scale, differentiable models. In particular, by leveraging only a handful of trained models, TRAK can match the performance of attribution methods that require training thousands of models. We demonstrate the utility of TRAK across various modalities and scales: image classifiers trained on ImageNet, vision-language models (CLIP), and language models (BERT and mT5). We provide code for using TRAK (and reproducing our work) at https://github.com/MadryLab/trak .

研究の動機と目的

• 訓練データへのモデル予測の追跡の重要性を動機づける。
• 既存のデータアトリビューション手法の計算的トレードオフを特定する。
• 大規模な非凸モデルのためのスケーラブルで効果的なアトリビューション手法としてTRAKを紹介する。
• 複数のモダリティとアーキテクチャにわたるTRAKの有効性を示す。

提案手法

• TRAK (Tracing with the Randomly-projected After Kernel) をデータアトリビューション手法として紹介する。
• わずかな訓練済みモデルだけを活用してアトリビューションを実行する。
• 何千ものモデルを訓練する必要があるアトリビューション手法の性能に匹敵することを目指す。
• さまざまなモダリティにわたる大規模で微分可能なモデルにTRAKを適用する。
• TRAKを使用して結果を再現するコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 大規模な非凸設定でデータアトリビューションはスケーラブルで効果的になり得るか。
• RQ2 TRAKは多くの訓練済みモデルを必要とする既存のアトリビューション手法とどう比較されるか。
• RQ3 TRAKは異なるモダリティとモデルファミリ（ビジョン、ビジョン-言語、言語）において有効か。

主な発見

• TRAKはサンプリングベースのベースラインと比較して、はるかに少ない訓練済みモデルで効果的なデータアトリビューションを達成する。
• 実験では、TRAKは何千ものモデルを訓練する方法の性能と一致するまたは密接に近づく。
• TRAKは画像分類器（ImageNet）、ビジョン-言語モデル（CLIP）、言語モデル（BERT、mT5）で有用性を示す。
• 本研究は結果を再現し、他のモデルへTRAKを適用するコードを提供する。