[論文レビュー] Interpretable Convolutional Neural Networks

Quanshi Zhang, Ying Wu+1 more|arXiv (Cornell University)|Oct 2, 2017

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 24

ひとこと要約

本論文では、追加のアノテーションを必要とせず、高次畳み込み層の各フィルタが1つの意味的に意味のあるオブジェクト部品を表すようにするための新しい損失関数を導入することで、標準的な畳み込みニューラルネットワーク（CNN）を解釈可能なCNNに変換する手法を提案する。このアプローチは、空間的およびカテゴリ特化型の活性化の一貫性を促進することでモデルの解釈性を向上させ、目や頭といった明確に区別された部品をエンコードするフィルタを実現する。実験では、競争力ある精度を維持したまま、顕著に向上した意味的解釈可能性が得られた。

ABSTRACT

This paper proposes a method to modify traditional convolutional neural networks (CNNs) into interpretable CNNs, in order to clarify knowledge representations in high conv-layers of CNNs. In an interpretable CNN, each filter in a high conv-layer represents a certain object part. We do not need any annotations of object parts or textures to supervise the learning process. Instead, the interpretable CNN automatically assigns each filter in a high conv-layer with an object part during the learning process. Our method can be applied to different types of CNNs with different structures. The clear knowledge representation in an interpretable CNN can help people understand the logics inside a CNN, i.e., based on which patterns the CNN makes the decision. Experiments showed that filters in an interpretable CNN were more semantically meaningful than those in traditional CNNs.

研究の動機と目的

• 高次畳み込み層に明示的で人間が理解可能な知識表現を可能にすることで、深層CNNの解釈性を向上させること。
• オブジェクト部品やテクスチャの追加アノテーションを一切必要とせずに、その解釈性を達成すること。
• 従来のCNNと同一の訓練データおよびトップ層損失を維持することで、既存モデルとの互換性を確保すること。
• エンドツーエンド学習を可能にし、高次の層のフィルタが自動的に特定のオブジェクト部品を表現するように専門化させること。
• 訓練中に解釈性を向上させることで、分類性能を著しく損なわずに実現できるかを検証すること。

提案手法

• 高次畳み込み層の各フィルタに対して、カテゴリ間活性化エントロピーと空間的活性化エントロピーの両方を最小化する新しい損失関数を導入する。
• この損失は、各フィルタが特定のカテゴリの1つのオブジェクト部品にのみ活性化されることを促進し、意味的特化性を確保する。
• 空間的活性化エントロピーを最小化することで、フィルタがオブジェクトの1つの局所的領域にのみ反応し、対称的または繰り返しのある領域に誤って反応するのを防ぐ。
• カテゴリ間活性化エントロピーを最小化することで、フィルタが1つのオブジェクトカテゴリに特化し、曖昧な混合カテゴリ反応を回避する。
• この手法は、元のネットワーク構造や損失関数を変更せずに、エンドツーエンド学習中に正則化として適用される。
• 画像解像度での意味的意味の評価を目的として、各フィルタの受容野はZhouら[38]の手法を用いて可視化される。

実験結果

リサーチクエスチョン

• RQ1 追加の教師信号なしに、高次畳み込み層の各フィルタが1つの解釈可能なオブジェクト部品を表すようにCNNを学習可能か？
• RQ2 カテゴリ間および空間的活性化におけるエントロピーを低く抑えることで、より意味的に意味のあるフィルタが得られるか？
• RQ3 この手法は、アーキテクチャの変更なしにさまざまなCNNアーキテクチャに広く適用可能か？
• RQ4 解釈性の向上は、分類精度の低下を伴うか？
• RQ5 モデルは左目と右目といった異なる部品を別々のフィルタとして学習できるか？

主な発見

• 解釈可能なCNNは、標準CNNと比較して顕著に高い部品の解釈可能性を達成しており、フィルタは頭や目といった明確に区別されたオブジェクト部品を明確にエンコードしていた。
• 単一カテゴリ分類では、標準CNNがわずかに解釈可能なCNNを上回る精度を示したが、差は小さかった。
• 多クラス分類では、解釈可能なCNNが標準CNNを上回った。これは、明確な初期表現のおかげで学習ダイナミクスが向上したことを示唆している。
• 部品検出における平均相対位置ずれは、解釈可能なCNNで顕著に低く、オブジェクト部品の空間的局所化が優れていた。
• ILSVRC PartおよびVOC Partデータセットでは、解釈可能なVGG-Mはそれぞれ97.99%および96.19%の精度を達成し、標準VGG-M（96.73%および93.88%）を上回った。
• ヒートマップの結果、解釈可能なフィルタは他の部品を無視して、明確に区別された部品のみをモデル化しており、その意味的特化性が確認された。