[論文レビュー] HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks

Yuanyuan Chen, Boyang Li+3 more|arXiv (Cornell University)|Feb 4, 2021

Adversarial Robustness in Machine Learning参考文献 3被引用数 4

ひとこと要約

HYDRAは、最適化の全軌道にわたって訓練データの影響を追跡することで、深層ニューラルネットワークの予測を解釈するハイパーグラデントベースの手法を提案する。ヘシアンに依存せず、近似誤差が有界であるのを維持する。影響関数よりもデータ寄与推定およびノイジーサンプル検出で優れた性能を示し、GPUハードウェアで971倍の高速化を達成する。

ABSTRACT

The behaviors of deep neural networks (DNNs) are notoriously resistant to human interpretations. In this paper, we propose Hypergradient Data Relevance Analysis, or HYDRA, which interprets the predictions made by DNNs as effects of their training data. Existing approaches generally estimate data contributions around the final model parameters and ignore how the training data shape the optimization trajectory. By unrolling the hypergradient of test loss w.r.t. the weights of training data, HYDRA assesses the contribution of training data toward test data points throughout the training trajectory. In order to accelerate computation, we remove the Hessian from the calculation and prove that, under moderate conditions, the approximation error is bounded. Corroborating this theoretical claim, empirical results indicate the error is indeed small. In addition, we quantitatively demonstrate that HYDRA outperforms influence functions in accurately estimating data contribution and detecting noisy data labels. The source code is available at https://github.com/cyyever/aaai_hydra_8686.

研究の動機と目的

• 深層ニューラルネットワークのブラックボックス性に対処し、モデルの予測を訓練データに帰属づけること。
• 最終的なモデルパラメータの近傍でのみデータの影響を分析する影響関数の限界を克服し、計算コストの高いヘシアン行列に依存しないこと。
• 全訓練軌道にわたってデータの影響を追跡するスケーラブルでヘシアンを不要とする手法を開発すること。
• ハイパーグラデント計算からヘシアンを省いた場合の近似誤差が理論的に有界であることを示すこと。
• 実験的に、ヘシアンを排除したHYDRA手法が、データ寄与推定およびノイジーサンプル検出において影響関数よりも高い精度と効率性を達成することを検証すること。

提案手法

• HYDRAは、最適化の全軌道をアンラップすることで、テスト損失に対する訓練データ重みのハイパーグラデントを計算する。
• 再帰的定式化を用いて、テスト損失の勾配を全訓練ステップにわたって伝播させ、データ重みの変化がモデルの収束経路に与える影響を捉える。
• ヘシアンの代わりにリプシッツに基づく近似を用い、弱い条件下でも近似誤差が有界であることを証明する。
• 学習率の減少とヘシアンの収束に関する仮定を用いて、誤差の理論的上限を導出する。
• ミニバッチ学習に適応するため、バッチインジケータを組み込み、勾配更新をそれに合わせて修正する。
• 実際の応用ではヘシアンを省略し、Hessianに依存する測定値と高い相関を維持していることが示された。

実験結果

リサーチクエスチョン

• RQ1 全訓練軌道を追跡するハイパーグラデントベースのデータ関連度分析は、局所的な影響関数よりも訓練データの寄与度推定を優れて行えるか？
• RQ2 ハイパーグラデント計算からヘシアンを省いた場合の理論的影響は何か？ そして、その誤差は有界に保たれるか？
• RQ3 HYDRAにおけるヘシアンフリー近似は、ヘシアンに基づく手法と比較して顕著な高速化を達成しながらも、高い精度を維持できるか？
• RQ4 ノイズのあるラベルを持つデータポイントの検出において、HYDRAは影響関数よりも優れた性能を示すか？
• RQ5 モデルサイズや追跡対象サンプル数の増加に対し、ヘシアンフリーのHYDRA手法は効率的にスケーリングできるか？

主な発見

• 2台のTitan X Pascal GPU上で、Hessianに依存する手法と比較して、HYDRAは実行時間（ウォールクロックタイム）を971倍短縮した。
• Hessianに依存する測定値と比較して、Hessianフリー近似による誤差は11%〜16%増加したが、影響関数もHessianに依存するベースラインと比較して11%〜16%の誤差増加を示した。
• HYDRAは、Hessianに依存するデータ関連度推定値との相関が、影響関数よりも高い。
• ノイズのあるラベルを持つデータポイントの検出において、影響関数よりも優れた性能を示した。
• 理論的分析により、近似誤差が有界であることが示され、指数関数的学習率減少の下では、訓練が進行するに従い誤差はゼロに収束する。
• ヘシアンを省略しても、標準的な最適化条件下で誤差の上限が理論的に制御可能であるため、強力な性能を維持した。