[論文レビュー] Analyzing Effects of Mixed Sample Data Augmentation on Model Interpretability

Soyoun Won, Sung‐Ho Bae+1 more|arXiv (Cornell University)|Mar 26, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

本稿は、混合サンプルデータ拡張が深層ニューラルネットワークの解釈可能性に与える影響を調査し、人間との整合性、モデルの忠実性、分離可能な概念検出の3つの評価基準を提案する。CutMixおよびSaliencyMixは性能を向上させるが、解釈可能性を低下させることが判明し、医療AIなどのミッションクリティカルな応用においては注意が必要である。

ABSTRACT

Mixed sample data augmentation strategies are actively used when training deep neural networks (DNNs). Recent studies suggest that they are effective at various tasks. However, the impact of mixed sample data augmentation on model interpretability has not been widely studied. In this paper, we explore the relationship between model interpretability and mixed sample data augmentation, specifically in terms of feature attribution maps. To this end, we introduce a new metric that allows a comparison of model interpretability while minimizing the impact of occlusion robustness of the model. Experimental results show that several mixed sample data augmentation decreases the interpretability of the model and label mixing during data augmentation plays a significant role in this effect. This new finding suggests it is important to carefully adopt the mixed sample data augmentation method, particularly in applications where attribution map-based interpretability is important.

研究の動機と目的

• 混合サンプルデータ拡張が深層ニューラルネットワークの解釈可能性に与える未解明な影響を調査すること。
• 異なる拡張戦略を用いて訓練されたモデル間での解釈可能性を比較するためのメトリクスの欠如に対処すること。
• モデル内部の分離可能な概念の検出可能性、忠実性、人間との整合性を通じて解釈可能性を評価すること。
• 既存のメソッド中心のメトリクスを補完する、モデル間の解釈可能性比較のための定量的フレームワークを提供すること。
• 安全性が求められる分野において、性能と解釈可能性のバランスを取るデータ拡張戦略の選定を実務家に支援すること。

提案手法

• モデル間の解釈可能性を比較可能な新規メトリクスとして、Inter-model deletionおよびInter-model insertionを提案し、異なるモデル間での比較を可能にした。
• 解釈可能性を3つの基準で評価した：(1) アトリビューションマップにおける人間がアノテートしたボクシングボックスとの整合性、(2) 削除/挿入スコアを用いた忠実性、(3) 分離可能なオブジェクト概念の検出数。
• 比較のため、Cutout、Mixup、CutMix、SaliencyMixを用いてImageNet上でResNet-50を訓練した。
• 概念活性化理論（CAM）とオブジェクト検出器分析を用い、学習された特徴の分離性を定量的に評価した。
• SaliencyMixでは、混合時に意味的に関連する領域を優先するため、サリエンシー誘導型パッチ選択を適用した。
• さまざまな拡張手法間で、アトリビューションマップのスパarsity、局在化精度、概念検出器の数を比較するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 混合サンプルデータ拡張は、アトリビューションマップのモデルの予測が人間がアノテートした真値とどの程度整合するかにどのように影響するか？
• RQ2 データ拡張は、後処理による説明における特徴のアトリビューション手法の忠実性にどの程度影響を及えるか？
• RQ3 混合サンプル拡張は、モデルの活性化における分離可能な概念の検出数を減少させるか？
• RQ4 CutMixおよびSaliencyMixを用いる場合、モデルの性能と解釈可能性の間にトレードオフが生じるか？
• RQ5 異なる拡張戦略を用いた場合でも、削除/挿入に基づくメトリクスを用いて、モデル間の解釈可能性を定量的に測定・比較できるか？

主な発見

• CutMixおよびSaliencyMixで訓練されたモデルは、他の拡張手法と比較して、アトリビューションマップにおける人間がアノテートしたボクシングボックスとの整合性が著しく低いことが判明した。
• Inter-model deletionおよびInter-model insertionスコアから、CutMixおよびSaliencyMixで訓練されたモデルのアトリビューションマップは、モデルの実際の意思決定プロセスに対して忠実性に欠けることが示された。
• SaliencyMixではSOTAの性能（ImageNetにおけるトップ-1誤差21.26%）を達成しているが、検出可能な分離可能なオブジェクト概念の数が最も少なかった。
• CutMixおよびSaliencyMixは、ベースラインモデルと比較して、ユニークなオブジェクト検出器の数を最大30%まで減少させ、特徴の分離性が劣化していることが示された。
• 性能の向上が、3つの評価基準すべてにおいて解釈可能性の向上に繋がらないことが、明確に裏付けられた。
• サンプルの混合に起因するデータ分布のシフトが、人間が認識可能な明確な概念を検出するニューロンの出現を妨げている可能性がある。