[論文レビュー] Improving Deep Learning Interpretability by Saliency Guided Training

Aya Abdelsalam Ismail, Héctor Corrada Bravo+1 more|arXiv (Cornell University)|Nov 29, 2021

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本論文は、深層ニューラルネットワークにおけるノイジーグラデントを低減するため、繰り返し低勾配特徴をマスクすることでモデル性能を維持する、画期的なトレーニング手順「サリエンシー Guided Training」を提案する。マスクされた入力と元の入力の予測間のKLダイバージェンスを最小化することで、視覚、自然言語処理、時系列タスクのあらゆる分野で、ノイズが少なく、より忠実なサリエンシー マップが得られ、精度を損なわずに実現される。

ABSTRACT

Saliency methods have been widely used to highlight important input features in model predictions. Most existing methods use backpropagation on a modified gradient function to generate saliency maps. Thus, noisy gradients can result in unfaithful feature attributions. In this paper, we tackle this issue and introduce a {\it saliency guided training}procedure for neural networks to reduce noisy gradients used in predictions while retaining the predictive performance of the model. Our saliency guided training procedure iteratively masks features with small and potentially noisy gradients while maximizing the similarity of model outputs for both masked and unmasked inputs. We apply the saliency guided training procedure to various synthetic and real data sets from computer vision, natural language processing, and time series across diverse neural architectures, including Recurrent Neural Networks, Convolutional Networks, and Transformers. Through qualitative and quantitative evaluations, we show that saliency guided training procedure significantly improves model interpretability across various domains while preserving its predictive performance.

研究の動機と目的

• 医療や自律走行システムなど、解釈が重要な分野において、モデルの解釈性を阻害するノイジーで不正確なサリエンシー マップの課題に対処すること。
• バックプロパゲーションによるノイジーな勾配に依存する既存のサリエンシー手法の限界を克服すること、特に勾配消失のため説明品質が低下する可能性があるRNNのようなモデルにおいて。
• 教師付きの説明や後処理による最適化を必要とせず、本質的にクリアで信頼性の高いサリエンシー マップを生成するトレーニング手順を開発すること。
• CNN、RNN、Transformer、TCNを含む多様なアーキテクチャにおいて、予測性能を維持しながら解釈性を向上させること。
• 提案されたフレームワークでトレーニングした後、標準的なサリエンシー手法を用いて、画像、テキスト、多次元時系列データという多様なデータモダリティに一般化できることを示すこと。

提案手法

• トレーニング中に勾配の大きさが小さい（つまり、重要度が低い）特徴を繰り返しマスクすることで、勾配に基づくサリエンシー マップのノイズを低減する。
• 通常の予測損失に加え、元の入力とマスクされた入力のモデル出力間のKLダイバージェンスを含む組み合わせ損失関数を最適化する。
• マスクの際の特徴選択にはバニラ勾配を用いるが、トレーニング後、複数のサリエンシー手法（例：Integrated Gradients、DeepLIFT、DeepSHAP）の解釈性を向上させる。
• 確率的勾配降下法を用いてエンドツーエンドでモデルをトレーニングし、各トレーニングステップで勾配の大きさのしきい値に基づいてマスクを適用する。
• ハイパーパrameter λ（正則化強度）と k（マスクする特徴の割合）を用いてマスクを制御し、スパarsityと性能のトレードオフを可能にする。
• CNN（画像分類用）、RNN（時系列データ用）、Transformer（NLP用）、TCN（時系列用）という多様なアーキテクチャに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 後処理による平滑化や高階導関数の計算に依存せずに、サリエンシー マップの勾配ノイズを本質的に低減するトレーニング手順を設計できるか？
• RQ2 サリエンシー Guided Training は、画像、テキスト、時系列という多様なデータモダリティにおいて、サリエンシー マップの忠実性とスパarsityを向上させるか？
• RQ3 RNNにおける勾配消失問題が説明に無意味な影響を与えるのを、この手法がどの程度軽減できるか？
• RQ4 再トレーニングなしで、Integrated Gradients や DeepSHAP といった複数のサリエンシー手法に本手法の利点を一般化できるか？
• RQ5 本手法は、予測性能を維持しながら、事実抽出やセンチメント分析タスクにおけるAUP や AUR といった解釈性指標を著しく向上させられるか？

主な発見

• 画像分類タスクにおいて、サリエンシー Guided Training は視覚的サリエンシーのノイズを低減し、よりスパースで解釈可能なマップを生成した。定性的な比較で明確に示された。
• センチメント分析および事実抽出タスクにおいて、本手法は説明の包括性を向上させ、複数のサリエンシー手法でAUPおよびAUR指標に顕著な向上を示した。
• 多次元時系列分類タスクにおいて、本手法はサリエンシー マップの精度と再現率の両方を向上させ、特にDeepSHAPとIntegrated Gradientsが本手法と組み合わせることで最高のパフォーマンスを発揮した。
• RNNにおける勾配消失によるサリエンシーの欠落問題を、本手法が効果的に軽減した。順序付きタスクにおいて、より一貫性があり意味のある勾配帰属が得られた。
• サリエンシー Guided Training と組み合わせた場合、Integrated Gradients と DeepSHAP は RareFeature で 0.239 AUP の最高精度を達成した。一方、Integrated Gradients と DeepLift は最高の再現率を示した。
• Transformer モデルでは、従来のトレーニングが Gradient SHAP でより高い精度を示したが、サリエンシー Guided Training を適用することで、すべてのサリエンシー手法で再現率が向上した。特に Integrated Gradients は Moving Rare Feature で 0.171 AUR の最高再現率を達成した。