[論文レビュー] Right for the Right Reasons: Training Differentiable Models by Constraining their Explanations

Andrew Slavin Ross, Michael C. Hughes+1 more|arXiv (Cornell University)|Mar 10, 2017

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文では、入力勾配を制約することで、予測が正しい理由からなされるように、微分可能な機械学習モデルを訓練する手法を提案する。勾配に基づく説明と正則化を適用することにより、明示的なアノテーションがなくても、分布シフト下でもモデルの一般化性能が向上し、反復最適化によって多様で頑健な意思決定境界が発見される。

ABSTRACT

Neural networks are among the most accurate supervised learning methods in use today, but their opacity makes them difficult to trust in critical applications, especially when conditions in training differ from those in test. Recent work on explanations for black-box models has produced tools (e.g. LIME) to show the implicit rules behind predictions, which can help us identify when models are right for the wrong reasons. However, these methods do not scale to explaining entire datasets and cannot correct the problems they reveal. We introduce a method for efficiently explaining and regularizing differentiable models by examining and selectively penalizing their input gradients, which provide a normal to the decision boundary. We apply these penalties both based on expert annotation and in an unsupervised fashion that encourages diverse models with qualitatively different decision boundaries for the same classification problem. On multiple datasets, we show our approach generates faithful explanations and models that generalize much better when conditions differ between training and test.

研究の動機と目的

• トレーニングデータ内の誤った相関関係や混同要因に依存して高い精度を達成するモデルの問題に対処すること。
• 入力勾配を忠実で効率的な説明として用いることで、微分可能なモデルの説明と正則化をスケーラブルに実現する手法を開発すること。
• トレーニングデータとテストデータの分布が異なる状況でも、より良い一般化性能を示す意思決定境界を学習できるようにすること。
• 専門家によるアノテーションが利用できない状況でも、複数の質的に異なる正確な分類器を発見するメカニズムを提供すること。

提案手法

• 本手法は、モデルの予測に対する局所的で一次の説明として入力勾配を用い、計算的に効率的かつモデルの意思決定境界に忠実である。
• 望ましくない勾配パターンを罰する微分可能正則化損失を導入し、モデルが意味のある入力特徴に依存するよう促進する。
• アノテーション付きデータでは、専門家が提供する制約 $ A $ を用いて勾配ペナルティをガイドし、モデルが正しい推論を学習できるようにする。
• アノテーションが存在しない場合には、反復的な「別の説明を発見する」プロセスを用い、質的に異なる、高精度なモデルと多様な意思決定境界を発見する。
• 勾配ペナルティを標準的な交差エントロピー損失に統合することで、最小限の計算コストでエンドツーエンドの学習が可能になる。
• ノルムベースのペナルティ（例：L1）や勾配の方向・大きさに関する特徴固有の制約を含む、柔軟な正則化をサポートする。

実験結果

リサーチクエスチョン

• RQ1 入力勾配は、モデルの推論を捉え、正則化を導く忠実でスケーラブルな説明として機能できるか？
• RQ2 トレーニングデータとテストデータの分布が異なる状況でも、勾配ベースの制約がモデルの一般化性能を向上させられるか？
• RQ3 専門家によるアノテーションがなくても、複数の質的に異なる正確な分類器を発見できるか？
• RQ4 勾配ペナルティは、モデルの意思決定境界の解釈可能性と頑健性にどのように影響するか？
• RQ5 本手法は、たとえば喘息が肺炎再入院リスクの低い予測に寄与するといった、混同学習の問題を緩和できるか？

主な発見

• IrisおよびCancerデータセットでは、本手法が、トレーニング精度は低めだが、テスト精度が著しく高いモデルを発見した。これは、誤った特徴に依存するのを避けることで一般化性能が向上したことを示している。
• Decoy MNISTでは、1回の反復でベースライン精度に回復した。これは、混同されたトレーニングデータからの迅速な回復を示している。
• 反復を経るうちに、勾配パターンがより直感的かつ均等に分布し、明るさの高いストローク特徴が数字の確率を高めることを正しく示すようになった。
• 20 Newsgroupsでは、反復を経てクラスラベルの語の関連性が意味的に変化しながらも、高いトレーニング精度を維持した。これは動的で多様な意思決定境界を示している。
• 勾配ペナルティ強度 ($ \lambda_1 $) が高すぎると、モデルの挙動が不安定になった。これはハイパーパrameterの慎重な調整の必要性を示している。
• 明示的な警告なしに、誤った特徴についての注意を払わずに、より一般化可能なモデルを自動で発見した。これは、データの混同要因に対して頑健であることを示唆している。