[論文レビュー] Towards Robust Explanations for Deep Neural Networks

Ann-Kathrin Dombrowski, Christopher J. Anders+2 more|arXiv (Cornell University)|Dec 18, 2020

Explainable Artificial Intelligence (XAI)参考文献 59被引用数 4

ひとこと要約

本稿では、入力レベルの操作に対して深層ニューラルネットワークの説明の頑健性を向上させる包括的な理論的枠組みを提案する。訓練中に重み減衰、滑らかなReLUに類似した活性化関数（Softplus）、およびヘッセ行列ノルムの最小化を統合することで、著しく小さな入力摂動に対する説明の感度が低下し、CIFAR-10において元のと摂動を加えたセマンティックマップ間のピアソン相関係数が最大30%向上した。

ABSTRACT

Explanation methods shed light on the decision process of black-box classifiers such as deep neural networks. But their usefulness can be compromised because they are susceptible to manipulations. With this work, we aim to enhance the resilience of explanations. We develop a unified theoretical framework for deriving bounds on the maximal manipulability of a model. Based on these theoretical insights, we present three different techniques to boost robustness against manipulation: training with weight decay, smoothing activation functions, and minimizing the Hessian of the network. Our experimental results confirm the effectiveness of these approaches.

研究の動機と目的

• 微小で目に見えない入力摂動が説明マップを著しく変化させるという深層学習の説明の脆弱性に対処する。
• モデルの意思決定境界における高い曲率が、説明操作に対する感受性を高めることを同定する。
• 入力摂動による説明マップの最大変化を束縛する理論的枠組みを構築する。
• 推論を変更せずに説明の頑健性を向上させる3つの実用的訓練技術を提案・検証する。
• 医療やクレジット評価などハイリスク分野における信頼性のあるAIの実現に、頑健な説明が不可欠であることを示す。

提案手法

• 入力に関してネットワークのヘッセ行列と説明操作可能性を結びつける包括的な理論的枠組みを導出し、入力摂動による説明変化の上限を定める。
• 重み減衰を訓練中に適用することで、モデルの曲率を低減し、勾配を安定化させ、入力ノイズ下での説明シフトを最小化する。
• ReLU活性化関数をSoftplus関数に置き換えることで、微分不能なへこみをなめらかにし、入力摂動に対する感度を低減する。
• 微分可能な正則化項を用いて、訓練データポイントにおけるネットワークのヘッセ行列ノルムを最小化し、局所的に損失関数の地形を平坦化する。
• 訓練中にヘッセ行列ノルムを効率的に近似するためにモンテカルロサンプルを用い、スケーラブルな最適化を可能にする。
• 3つの技術を1つの訓練パイプラインに統合し、多様な説明手法やノイズタイプにわたる頑健性を最大化する。

実験結果

リサーチクエスチョン

• RQ1 微小な入力摂動下で、説明マップの最大変化はどの程度理論的に束縛可能か？
• RQ2 重み減衰、活性化関数の滑らかさ、ヘッセ行列最小化の各手法が、セマンティックマップの頑健性にどのように影響するか？
• RQ3 複数の頑健性技術を併用した場合、異なるノイズ分布において説明の安定性にどのような組み合わせ効果が現れるか？
• RQ4 訓練済みモデルにおけるヘッセ行列ノルムと重みノルムの低減と、説明の頑健性の相関関係は何か？
• RQ5 提案手法は、敵対的入力摂動下でも分類精度を高く維持しながら、説明の一貫性を著しく向上できるか？

主な発見

• 提案された理論的枠組みは、入力摂動による説明マップの最大変化を成功裏に束縛し、頑健性の原則的根拠を提供した。
• 重み減衰を用いた訓練により、重みノルムとヘッセ行列ノルムの両方が低減され、ガウスノイズ下で説明類似度（PCC）が25%向上した。
• β=10のSoftplus活性化関数を用いることで、ReLUに比べて20%の頑健性向上が得られ、特にラプラスノイズおよびガウスノイズ下で顕著だった。
• ヘッセ行列ノルム最小化は、最も強い頑健性向上効果を示し、他の手法と組み合わせることでCIFAR-10でPCCが最大30%向上した。
• 3つの技術を併用した場合、すべてのノイズレベルおよび種別でPCCが常に0.95以上に維持され、最も安定した説明が得られた。
• 塩こしょうノイズは破壊的であるが、本手法を用いることで顕著な頑健性向上が見られ、特に重み減衰とヘッセ行列最小化の組み合わせで顕著だった。