[論文レビュー] On Second-Order Group Influence Functions for Black-Box Predictions

Samyadeep Basu, Xuchen You+1 more|arXiv (Cornell University)|Nov 1, 2019

Machine Learning and Data Classification参考文献 31被引用数 10

ひとこと要約

本稿では、ブラックボックス機械学習モデルにおける訓練サンプルのグループの影響推定精度を向上させるために、2次影響関数を提案する。ヘッセ行列に基づく補正を用いてグループ内成員間の相互依存関係を捉えることで、真値影響との相関が著しく向上する。MNISTのロジスティック回帰において、訓練データの50%を削除した場合、第一順近似を上回る55%以上の向上を達成し、大規模または相関の高い訓練グループの状況においても、第一順近似を上回る性能を示す。

ABSTRACT

With the rapid adoption of machine learning systems in sensitive applications, there is an increasing need to make black-box models explainable. Often we want to identify an influential group of training samples in a particular test prediction for a given machine learning model. Existing influence functions tackle this problem by using first-order approximations of the effect of removing a sample from the training set on model parameters. To compute the influence of a group of training samples (rather than an individual point) in model predictions, the change in optimal model parameters after removing that group from the training set can be large. Thus, in such cases, the first-order approximation can be loose. In this paper, we address this issue and propose second-order influence functions for identifying influential groups in test-time predictions. For linear models, across different sizes and types of groups, we show that using the proposed second-order influence function improves the correlation between the computed influence values and the ground truth ones. We also show that second-order influence functions could be used with optimization techniques to improve the selection of the most influential group for a test-sample.

研究の動機と目的

• 大規模または相関の高い訓練サンプルグループの影響を推定する際、第一順近似の限界を是正すること。
• モデルパラメータの変化が顕著な場合に、グループ内メンバー間の相互依存関係を捉える第二順近似を構築すること。
• 再訓練を伴わず、与えられたテスト予測に対して最も影響力のある訓練グループを効率的に同定すること。
• 線形モデルおよび深層ニューラルネットワークの両方において、第二順影響関数の有効性を評価すること。
• 解釈可能性が重要な応用分野において、最適化ベースのグループ選択を通じて実用的利点を示すこと。

提案手法

• 最適モデルパラメータにおけるヘッセ行列と勾配ベクトルに基づく補正項を追加することで、第一順近似を拡張した第二順グループ影響関数を提案する。
• 第二順近似を、第一順影響の和に加え、グループ内個々のサンプルの勾配とヘッセ行列を含む相互依存項を含む形で導出する。
• 特に非凸な設定（例：深層ニューラルネットワーク）においても計算を安定化させるために、正則化されたヘッセ行列（H + λI）を用いる。
• 最も影響力のある訓練グループを特定する最適化問題を、L1緩和を伴う射影勾配降下法で解く。
• 一般化性と頑健性を評価するため、線形モデル（例：MNISTにおけるロジスティック回帰）および深層フィードフォワードネットワークに本手法を適用する。
• 実際の再訓練による真値影響と比較することで、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 グループのサイズやパラメータのシフトが大きい場合、第二順影響関数は第一順近似に比べ、訓練サンプルグループの削除による真の影響をよりよく推定できるか？
• RQ2 グループ内メンバー間の相互依存関係はモデル挙動にどのように影響するか？ また、ヘッセ行列に基づく補正により、これらは効果的に捉えられるか？
• RQ3 第二順影響関数は、グリーディ第一順選択法と比較して、最も影響力のあるグループの選択をどの程度改善するか？
• RQ4 非線形モデル（例：深層ニューラルネットワーク）において、ヘッセ行列の仮定が成り立たない場合でも、第一および第二順影響関数はどのように性能を示すか？
• RQ5 第二順影響関数は、与えられたテスト予測に対して、最も影響力のある訓練グループを特定する最適化パイプラインで効果的に利用できるか？

主な発見

• MNISTにおけるロジスティック回帰の実験では、訓練データの50%を削除した場合、第二順影響関数は第一順近似に比べ、真値影響との相関が55%以上向上した。
• 第二順影響関数はグループ内メンバー間の相互依存関係を捉えることができ、グループ削除によるパラメータの大きなシフトが生じる状況で、より正確な影響推定が可能になる。
• 深層ニューラルネットワークにおいては、第一および第二順影響関数の両方とも真値との相関が有意ではなかったが、第二順手法はグループサイズにかかわらずわずかに相関を向上させた。
• 第二順影響関数を用いた最適化により、グリーディ第一順選択やランダムグループと比較して、著しく高い影響力を持つグループの選択が可能になった。特にグループサイズが大きい場合には顕著であった。
• 勾配およびヘッセ・ベクトル積に依存するため、第二順影響関数は大規模モデルに対しても計算的に効率的かつスケーラブルである。
• 同様の特性（例：人種的・性別のサブグループなど）を持つ訓練グループを、再訓練を必要とせずに特定するのに特に有効である。