[論文レビュー] Embedded Encoder-Decoder in Convolutional Networks Towards Explainable AI

Amirhossein Tavanaei|arXiv (Cornell University)|Jun 19, 2020

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本論文は、分類ごとの解釈可能なヒートマップを後処理や局所化ラベルなしに生成するために、標準的なCNN内にエンコーダデコーダ構造を統合したエンドツーエンドの説明可能なCNN、XCNNを提案する。モデルはCIFAR-10、Tiny ImageNet、MNISTで最先端の視覚的解釈性を達成し、最小限の精度低下を維持しながら詳細でクラス特徴を明確に示す活性化マップを生成する。

ABSTRACT

Understanding intermediate layers of a deep learning model and discovering the driving features of stimuli have attracted much interest, recently. Explainable artificial intelligence (XAI) provides a new way to open an AI black box and makes a transparent and interpretable decision. This paper proposes a new explainable convolutional neural network (XCNN) which represents important and driving visual features of stimuli in an end-to-end model architecture. This network employs encoder-decoder neural networks in a CNN architecture to represent regions of interest in an image based on its category. The proposed model is trained without localization labels and generates a heat-map as part of the network architecture without extra post-processing steps. The experimental results on the CIFAR-10, Tiny ImageNet, and MNIST datasets showed the success of our algorithm (XCNN) to make CNNs explainable. Based on visual assessment, the proposed model outperforms the current algorithms in class-specific feature representation and interpretable heatmap generation while providing a simple and flexible network architecture. The initial success of this approach warrants further study to enhance weakly supervised localization and semantic segmentation in explainable frameworks.

研究の動機と目的

• 境界ボックスやセグメンテーションアノテーションを必要とせず、駆動的視覚特徴を明らかにする高精度で解釈可能なCNNの開発。
• 1つのアーキテクチャ内でエンドツーエンドでクラス特異的サリエンシーマップを生成し、後処理ステップを回避すること。
• 正確な注目ベースの特徴マップを提供することで、弱教師付き局所化およびセマンティックセグメンテーションの向上。
• 分類精度を維持しながら、内在的なヒートマップ生成によってモデルの透明性を著しく向上させること。
• 任意の既存のCNN分類器に統合可能な柔軟でモジュール型のアーキテクチャを提供すること。

提案手法

• XCNNアーキテクチャは、標準的なCNN分類器（例：VGG-16）と、軽量なエンコーダデコーダネットワークを生成器部として統合する。
• 生成器は、分類器の最終畳み込み層からの顕著な特徴を再構築することで、クラス特異的ヒートマップを生成する。
• エンコーダデコーダは分類器と併せて標準的なクロスエントロピー損失を用いて同時に学習され、エンドツーエンド最適化が可能になる。
• ヒートマップ生成は完全に微分可能であり、学習後における勾配バックプロパゲーションや追加の推論ステップを必要としない。
• 外部の注目モジュールや注目に基づく損失関数を用いない。代わりに、自己符号化構造を通じて関連特徴を学習して局所化する。
• 生成器の出力は、予測クラスに対応する注目領域を強調する1チャンネルのヒートマップである。

実験結果

リサーチクエスチョン

• RQ1 CNN内に埋め込まれたエンコーダデコーダが、局所化アノテーションや後処理を必要とせず、高品質なクラス特異的サリエンシーマップを生成できるか。
• RQ2 XCNNアーキテクチャは、視覚的解釈性および特徴局所化精度の観点で、既存の説明可能手法と比較してどのように差をつけるか。
• RQ3 生成器部の導入が、ベースとなるCNNの分類精度にどの程度影響を与えるか。
• RQ4 生成されたヒートマップは、最小限の追加処理で弱教師付き局所化およびセマンティックセグメンテーションを支援できるか。
• RQ5 MNIST、CIFAR-10、Tiny ImageNetといった多様なデータセットにおいて、XCNNは特徴マップの明瞭さおよびオブジェクト局所化の観点でどの程度の性能を示すか。

主な発見

• XCNNは、PatternAttribute、デュアルターリアスドメイン分解、Grad-CAMといった最先端手法と比較して、特に干渉要因を含む複雑なシーンでも優れた視覚的品質のクラス特異的ヒートマップを生成する。
• CIFAR-10では、元のVGG-16と比較して2.80%以内の検証精度を達成し、説明可能化部の追加にもかかわらず、最小限の性能低下を示した。
• Tiny ImageNetでは、元のVGG-16と比較して2.77%以内の検証精度を達成し、より大規模で複雑なデータセットに対しても堅牢であることが示された。
• XCNNのヒートマップは、類似する非ターゲットオブジェクト（例：ビールボトルの隣にあるスマートフォン）が存在する場合でも、ターゲットオブジェクトのピxlsを優れて強調している。
• XCNNが生成したヒートマップをしきい値処理することで、オブジェクト局所化タスクで境界ボックスが成功裏に生成された。これは、弱教師付きセグメンテーションへの応用可能性を示唆している。
• 生成器の後に1×1畳み込みを追加すると、CIFAR-10では検証精度が約2%向上したが、ヒートマップ品質は劣化した。これは、精度と解釈性の間のトレードオフを確認するものである。