[論文レビュー] iGOS++: Integrated Gradient Optimized Saliency by Bilateral Perturbations

Saeed Khorram, Tyler Lawson+1 more|arXiv (Cornell University)|Dec 31, 2020

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

iGOS++ は、深層学習の解釈において局所化の正確性を向上させるために、削除マスクと挿入マスクの両方を最適化する新しいサリエンシー手法を導入する。二重の全 variation 正則化を組み込むことで、特に高解像度において滑らかで解釈可能なヒートマップを生成し、隠れたデータバイアス（例：医用レントゲン画像におけるテキストへの過剰適合）を明らかにする。これにより、説明可能な AI における顕著な性能向上が達成される。

ABSTRACT

The black-box nature of the deep networks makes the explanation for "why" they make certain predictions extremely challenging. Saliency maps are one of the most widely-used local explanation tools to alleviate this problem. One of the primary approaches for generating saliency maps is by optimizing a mask over the input dimensions so that the output of the network is influenced the most by the masking. However, prior work only studies such influence by removing evidence from the input. In this paper, we present iGOS++, a framework to generate saliency maps that are optimized for altering the output of the black-box system by either removing or preserving only a small fraction of the input. Additionally, we propose to add a bilateral total variation term to the optimization that improves the continuity of the saliency map especially under high resolution and with thin object parts. The evaluation results from comparing iGOS++ against state-of-the-art saliency map methods show significant improvement in locating salient regions that are directly interpretable by humans. We utilized iGOS++ in the task of classifying COVID-19 cases from x-ray images and discovered that sometimes the CNN network is overfitted to the characters printed on the x-ray images when performing classification. Fixing this issue by data cleansing significantly improved the precision and recall of the classifier.

研究の動機と目的

• 既存のサリエンシー手法が証拠の削除にのみ焦点を当てており、破片的で非連続なマスクを生じさせることによる限界を是正すること。
• 空間的滑らかさと連続性を向上させるために、二重全 variation 正則化項を導入することで、高解像度におけるサリエンシー マップの品質を向上させること。
• マスクの削除と挿入の両効果を同時に最適化することで、より忠実で人間が解釈可能な説明を可能にすること。
• 特に、テキストなどの非臨床的アーティファクト（例：レントゲン画像におけるテキスト）が分類器を誤導する可能性のある、医療画像処理パイプラインにおける隠れたデータバイアスを検出すること。
• 自然画像と実世界の医療データの両方で手法を検証し、モデルの信頼性向上とデバッグにおける有効性を示すこと。

提案手法

• iGOS++ は、入力特徴を削除する削除マスクと、最も顕著な特徴のみを保持する挿入マスクの2つの別々のマスクを最適化する。
• この手法は、削除マスクが適用された際のネットワークの予測信頼度を最小化し、挿入マスクが適用された際の信頼度を最大化する二重目的損失関数を用いる。
• 画像の色の類似性とエッジに注意を向ける滑らかさを強制するため、画像の色類似性と空間的近接性に基づく重み付けを用いた、新規の二重全 variation (BTV) 正則化項を導入する。
• BTV 項は、色と空間的近接性に基づく重み付け平均を用いてピクセル差分の重み付き平均を計算し、高解像度でのヒートマップの拡散を低減する。
• 最終的なサリエンシー マップは、両方のマスクの最適化を統合することで得られ、断片的でない情報量の多い領域が明確に強調される。
• 勾配を最適化経路に逆伝播させることで、エンドツーエンドに深層ネットワークに適用され、高解像度で連続的なヒートマップが生成される。

実験結果

リサーチクエスチョン

• RQ1 入力特徴の削除と挿入の両方を同時に最適化することで、削除のみを考慮する手法に比べて、より正確で連続的なサリエンシー マップが得られるか？
• RQ2 二重全 variation 正則化項の導入により、特に高解像度において、サリエンシー マップの滑らかさと解釈可能性が顕著に向上するか？
• RQ3 iGOS++ は、医用画像における非臨床的アーティファクト（例：テキスト）への過剰適合といった、隠れたデータバイアスを検出・暴露できるか？
• RQ4 iGOS++ は、さまざまな画像解像度において、最先端のサリエンシー手法と比較して、局所化の正確性と頑健性に優れているか？
• RQ5 iGOS++ は、実世界の医療画像データセットにおける誤った相関関係を明らかにすることで、モデルの信頼性をどの程度向上できるか？

主な発見

• 挿入マスクによって特定された最も顕著なピクセルのうち6%を用いても、タイガーベリーカンガルの画像で99.2%の分類信頼度を達成した。これは、優れた特徴保持と局所化性能を示している。
• 従来の手法（例：I-GOS）に比べ、iGOS++ は高解像度でも予測信頼度を高く維持し、破片的でないより一貫性のあるサリエンシー マップを実現した。
• 医療画像の事例研究において、iGOS++ は分類器がレントゲン画像のテキスト文字（例：'R'）に過剰適合していることを明らかにした。これらの文字は、誤った新型コロナウイルスの予測を引き起こすのに十分であった。
• 訓練データからテキストを含む領域を除去した後、分類器の正確性と再現率が顕著に向上した。これにより、モデルが誤った相関関係を学習していたことが確認された。
• 二重全 variation 項は、バッタの脚のような細く長い構造部におけるヒートマップの拡散を効果的に低減し、滑らかさを向上させた。
• iGOS++ が提供する挿入専用の可視化機能により、従来のサリエンシー手法では検出できなかった重要なモデルバグを検出できた。これは、モデルデバッグにおける価値を裏付けた。