[論文レビュー] Interpretable Compositional Convolutional Neural Networks

Wen Shen, Zhihua Wei+5 more|arXiv (Cornell University)|Jul 9, 2021

Explainable Artificial Intelligence (XAI)参考文献 29被引用数 6

ひとこと要約

本論文は、部分や領域のアノテーションが不要な状態で、一貫性があり意味のある視覚的パターン（例：オブジェクトの部分や画像領域）を表すフィルタを学習する、解釈可能な構成的CNNに通常の畳み込みニューラルネットワーク（CNN）を変換する手法を提案する。グループ化に基づく新しい損失関数を導入することで、グループ内でのフィルタの一貫性とグループ間での多様性を強制し、従来のICNNなどの手法よりも高い解釈可能性と特徴の一貫性を達成しながら、競争力のある分類精度を維持する。

ABSTRACT

The reasonable definition of semantic interpretability presents the core challenge in explainable AI. This paper proposes a method to modify a traditional convolutional neural network (CNN) into an interpretable compositional CNN, in order to learn filters that encode meaningful visual patterns in intermediate convolutional layers. In a compositional CNN, each filter is supposed to consistently represent a specific compositional object part or image region with a clear meaning. The compositional CNN learns from image labels for classification without any annotations of parts or regions for supervision. Our method can be broadly applied to different types of CNNs. Experiments have demonstrated the effectiveness of our method.

研究の動機と目的

• 説明可能なAIにおける意味的解釈可能性のコアな課題に取り組むため、CNNにおけるより一般化され、意味のあるフィルタ解釈可能性の形式を定義すること。
• 部分／領域のアノテーションがなくても、異なる画像間で同じオブジェクトの部分や画像領域を一貫して表現できる中間畳み込みフィルタを可能にすること。
• 異なるフィルタが別々の視覚的パターンを表すように保証し、学習された特徴の多様性と明確さを高めること。
• 高い分類精度を維持しながら、特徴の解釈可能性を著しく向上させる訓練手法を開発すること。
• ICNNが採用する球状の領域表現にとどまらず、構造的な部分と非構造的な画像領域の両方を含む表現に拡張すること。

提案手法

• フィルタの活性化パターンに基づいて畳み込み層内のフィルタをグループ化する新しい損失関数を導入し、同じグループに属するフィルタが同じ視覚的パターンを一貫して表現することを保証する。
• 異なる入力画像間での特徴マップの一貫性を測る類似度尺度を用いてフィルタをグループ化し、視覚的パターンの相互検証を可能にする。
• 同じグループ内のフィルタが同じオブジェクトの部分や画像領域を表すように損失を制御する一方で、異なるグループのフィルタは異なるパターンを表すようにし、多様性を促進する。
• 多クラス分類の文脈では、追加の損失関数を用いて、異なるフィルタグループが異なるカテゴリの部分や領域を活性化することを保証する。
• アーキテクチャの変更や部分／領域のアノテーションを一切必要とせず、さまざまなCNNアーキテクチャ（例：VGG、ResNet、DenseNet）にエンドツーエンドで適用可能である。
• 二段階の評価フレームワークを用いる：受容 field（RF）の定性的な可視化と、フィルタパターンの不一致度と多様性に関する定量的指標。

実験結果

リサーチクエスチョン

• RQ1 部分や領域のアノテーションが一切ない状態でも、CNNを変更することで、多様な画像間で同じオブジェクトの部分や画像領域を一貫して表現するフィルタを学習できるか？
• RQ2 提案手法は、ICNNなどの既存の解釈可能なCNNと比較して、より高い一貫性と多様性を持つ学習済み視覚的パターンを達成できるか？
• RQ3 特徴の解釈可能性を著しく向上させる一方で、分類精度を競争力ある水準に維持できるか？
• RQ4 異なるCNNアーキテクチャに一般化可能であり、構造的な部分と非構造的な画像領域の両方を処理できるか？
• RQ5 意味的一貫性と視覚的明確さの観点から、学習されたフィルタはランダムなフィルターや解釈不能な特徴と比較してどう異なるか？

主な発見

• 構成的CNNは、従来のCNNやICNNと比較して、視覚的パターンの不一致度が著しく低く、解釈可能なフィルタではほぼゼロに近づいた。
• ICNNと比較して、フィルターグループ間の多様性スコアが高く、より高い多様性を達成した。
• 分類タスクにおいて、構成的CNNは従来のCNNと同等またはわずかに優れた精度を達成し、ほとんどのベンチマークでICNNを上回った（例：HelenデータセットでResNet-18で99.85％の精度）。
• 可視化結果から、構成的CNNのフィルタはICNNが小規模な球状領域しか捉えていなかったのに対し、オブジェクトの部分全体や大きな画像領域を一貫して表現していることがわかった。
• t-SNE可視化では、構成的CNNの特徴マップが従来のCNNと比較してより明確にクラスタリングされており、より良い意味的組織性を示している。
• 失敗事例は稀で、意味のあるパターンを表さないフィルタはわずかに数個にとどまり、本手法の堅牢性を裏付けた。