[論文レビュー] Trustworthy Convolutional Neural Networks: A Gradient Penalized-based Approach

Nicholas Halliwell, Freddy Lécué|arXiv (Cornell University)|Sep 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 40被引用数 9

ひとこと要約

本論文では、分類精度と解釈可能性の両方を向上させるために、正しく予測された場合の不正確なサリエンシーマップに対するペナルティを課す勾配ペナルティ損失関数を提案する。この手法により、モデルパラメータを人間の直感的なサリエンシーマップに一致させることで、信頼性が向上し、ブラックボックス予測への依存が低減され、ユーザーの関与度が向上する。

ABSTRACT

Convolutional neural networks (CNNs) are commonly used for image classification. Saliency methods are examples of approaches that can be used to interpret CNNs post hoc, identifying the most relevant pixels for a prediction following the gradients flow. Even though CNNs can correctly classify images, the underlying saliency maps could be erroneous in many cases. This can result in skepticism as to the validity of the model or its interpretation. We propose a novel approach for training trustworthy CNNs by penalizing parameter choices that result in inaccurate saliency maps generated during training. We add a penalty term for inaccurate saliency maps produced when the predicted label is correct, a penalty term for accurate saliency maps produced when the predicted label is incorrect, and a regularization term penalizing overly confident saliency maps. Experiments show increased classification performance, user engagement, and trust.

研究の動機と目的

• 正しく予測されているにもかかわらず、誤ったサリエンシーマップがユーザーを誤導するため、CNNに対する信頼の欠如を是正すること。
• モデルの予測と後処理による解釈可能性（サリエンシーマップ経由）の整合性を強制する訓練目的を構築すること。
• 誤ったまたは過信しすぎたサリエンシーマップを生成するパラメータ選択をペナルティ化することで、モデルの透明性を向上させること。
• 完全な再訓練を伴わずに、解釈性が向上した状態で事前学習済みモデルの微調整や転移学習を可能にすること。

提案手法

• 交差エントロピーに加え、3つのペナルティ項を組み合わせたマルチコンポonent損失関数を導入：正しく予測された場合の不正確なサリエンシーマップ、誤って予測された場合の正確なサリエンシーマップ、過度に自信を持つサリエンシーマップに対するペナルティ。
• 勾配CAMとガイドド勾配CAMを用いて、順伝播中にサリエンシーマップを計算し、解釈可能性の勾配ベース最適化を可能にする。
• サリエンシーマップのモデルパラメータに関する勾配を計算することで、解釈メカニズムを介したバックプロパゲーションを可能にする。
• サリエンシーマップの分散が高く、過信している場合にペナルティを与える正則化項を採用し、堅牢で安定した解釈を促進する。
• 既存の訓練パイプラインに損失関数を統合することで、事前学習モデルの微調整および転移学習をサポートする。
• サリエンシーマップの正確性を評価するために、予測マップと正例との間で構造的類似性（SSIM）を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 分類精度とサリエンシーマップの忠実度を同時に向上させる訓練目的を設計可能か？
• RQ2 訓練中に不正確なサリエンシーマップに対するペナルティを課すことで、モデルの信頼性とユーザーの認識にどのような影響を与えるか？
• RQ3 提案された損失関数により、正しい予測だが誤ったサリエンシーマップ（ケース3）が発生する頻度はどの程度低減できるか？
• RQ4 サリエンシーマップの正則化を組み込むことで、敵対的または曖昧な入力に対する耐性が向上するか？
• RQ5 性能を損なわず、転移学習のシナリオに本手法を効果的に適用可能か？

主な発見

• Grad-CAMを用いて訓練された信頼性のあるCNNでは、正しく予測されかつ正確なサリエンシーマップを持つ画像が44％に達し、VGG-16ベースラインの22％を著しく上回った。
• ガイドド勾配CAMで訓練したモデルでは、誤って予測されたが正確なサリエンシーマップを持つケース（ケース2）が8％にまで低下したのに対し、ベースラインは12％であった。
• 正しく予測されたが不正確なサリエンシーマップを持つケース（ケース3）の発生率は、Grad-CAMを用いた場合18％、ガイドド勾配CAMを用いた場合10％にまで低下し、ベースラインの48％から著しく減少した。
• ユーザー研究の結果、本手法を用いて訓練されたモデルでは、特にサリエンシーマップが人間の直感と一致する場合、信頼性と関与度が向上したことが確認された。
• アブレーションスタディでは、サリエンシーマップペナルティ項を無効化した場合、性能が劣化したことが判明し、これらが損失関数において不可欠であることが確認された。
• SSIMの変化から、2つのサリエンシーマップ関連ペナルティ項間にトレードオフが存在することが示された。