[論文レビュー] Evaluating Feature Importance Estimates

Sara Hooker, Dumitru Erhan+2 more|arXiv (Cornell University)|Jun 28, 2018

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 57

ひとこと要約

本稿では、各手法が特定した最重要特徴を削除し、その後のモデル精度の低下を測定することで、深層ニューラルネットワークにおける特徴重要度推定器の性能を評価するベンチマーク「ROAR（RemOgive And Retrain）」を提案する。主な発見は、多くの推定器がランダム割り当てよりも性能が悪い一方で、二乗ノイズ推定値の平均化により精度が著しく向上し、ランダム性能を上回ることである。

ABSTRACT

Estimating the influence of a given feature to a model prediction is challenging. We introduce ROAR, RemOve And Retrain, a benchmark to evaluate the accuracy of interpretability methods that estimate input feature importance in deep neural networks. We remove a fraction of input features deemed to be most important according to each estimator and measure the change to the model accuracy upon retraining. The most accurate estimator will identify inputs as important whose removal causes the most damage to model performance relative to all other estimators. This evaluation produces thought-provoking results -- we find that several estimators are less accurate than a random assignment of feature importance. However, averaging a set of squared noisy estimators (a variant of a technique proposed by Smilkov et al. (2017)), leads to significant gains in accuracy for each method considered and far outperforms such a random guess.

研究の動機と目的

• 深層ニューラルネットワークにおける特徴重要度推定器の精度を評価する課題に対処すること。
• 入力特徴の影響を推定する解釈可能性手法を比較するための信頼性のあるベンチマークを開発すること。
• どの推定器が特徴のモデル予測への真の影響を最も正確に反映しているかを特定すること。
• 単純なノイズ推定値の平均化が、ランダム割り当てを上回る性能向上をもたらすかどうかを調査すること。

提案手法

• 各推定器が特定した最重要特徴を削除し、モデルを再訓練するベンチマーク「ROAR（RemOve And Retrain）」を提案する。
• 再訓練後のモデル精度の低下を測定し、削除された特徴の真の影響を評価する。
• 特徴削除後の精度低下の大きさに基づいて、異なる特徴重要度推定器の性能を比較する。
• Smilkovら（2017）の手法の変種を適用：ノイズを含む推定値の二乗を平均化することで推定精度を向上させる。
• モデル性能の相対的変化を推定器の精度の代理指標とし、大きな低下が顕著な重要な特徴を正しく特定できたことを示す。

実験結果

リサーチクエスチョン

• RQ1 既存の特徴重要度推定器は、入力特徴がモデル予測に与える真の影響をどれだけ正確に反映しているか？
• RQ2 ノイズを含む推定値のアンサンブル平均化によって、特徴重要度推定器の性能を向上させられるか？
• RQ3 モデル性能に重要な特徴を特定する段階で、ランダム割り当てを上回る性能を示す推定器は存在するか？
• RQ4 異なる推定器が上位にランク付けした特徴を削除した後、再訓練後のモデル精度にどのような影響があるか？

主な発見

• いくつかの特徴重要度推定器は、影響力のある特徴を特定する段階でランダム割り当てよりも性能が悪いことが判明した。
• ノイズを含む推定値の二乗の平均化により、評価されたすべての手法の精度が著しく向上した。
• 平均化された推定器はランダム推定を上回り、テストされたすべての手法の中で最も高い精度を達成した。
• ROARベンチマークは、多くの広く使われている推定器が真の特徴重要度を測定する上で信頼性に欠けていることを明らかにした。