[論文レビュー] Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation

Sandeep Konam, Ian Quah+2 more|arXiv (Cornell University)|Feb 11, 2018

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 4

ひとこと要約

APPLE（説明のための自動的パッチパターンラベル付け）は、畳み込みニューラルネットワーク（CNN）における重要なニューロンを特定し、事前学習済み分類器を用いてそれらを活性化する画像パッチを自動的にラベル付ける手法である。ニューロンの重要度指標とデコンボリューション可視化を組み合わせることで解釈性を向上させ、93%のオブジェクト局在化精度と最大0.87のトップ2ラベル精度を達成し、ランダムなニューロン選択を上回り、ネットワークの改変なしに人間が理解可能な説明を可能にする。

ABSTRACT

With the success of deep learning, recent efforts have been focused on analyzing how learned networks make their classifications. We are interested in analyzing the network output based on the network structure and information flow through the network layers. We contribute an algorithm for 1) analyzing a deep network to find neurons that are 'important' in terms of the network classification outcome, and 2)automatically labeling the patches of the input image that activate these important neurons. We propose several measures of importance for neurons and demonstrate that our technique can be used to gain insight into, and explain how a network decomposes an image to make its final classification.

研究の動機と目的

• 分類結果に寄与する重要なニューロンを特定することで、CNN意思決定の自動説明を実現すること。
• 重要なニューロンを活性化するパッチの手動ラベル付けを排除し、それらのパッチに記述的属性を自動的に割り当てる。
• ネットワークアーキテクチャの変更なしに、層全体を通じて画像特徴の処理方法をスケーラブルかつ人間が理解可能な形で説明すること。
• 信号の伝搬と最終予測への寄与を反映するニューロン重要度指標を評価すること。
• アーキテクチャの変更なしに、特徴の使用法の理解を向上させるパッチラベリングが有効であることを実証すること。

提案手法

• APPLEは、活性化の合計と分散、および特徴マップ全体における接続重みの合計と分散の4つの指標を用いてニューロンの重要度を計算する。
• デコンボリューションを実行し、重要なニューロンから入力画像パッチへと逆方向に遡ることで、それらを活性化する空間的パターンを再構築する。
• 別個に事前学習済みのパッチ分類器（AdaBoost-SVM）を用い、検出された画像パッチに物体の属性（例：目、毛、鼻）をラベル付ける。
• 元のCNNアーキテクチャを変更せずに動作するため、VGG-16などの事前学習済みモデルへの適用が可能である。
• ランダムなニューロン選択やCAMのようなベースライン手法と比較して、局在化精度とラベル精度を評価することで重要度を検証する。
• 各オブジェクトクラスごとに専用のパッチ分類器を訓練することで、マルチクラスオブジェクト認識をサポートする。

実験結果

リサーチクエスチョン

• RQ1 活性化と重みの統計に基づくニューロン重要度指標は、分類に寄与するニューロンを効果的に特定できるか？
• RQ2 デコンボリューションネットワークは、これらの重要なニューロンを活性化する入力画像パッチを信頼性高く再構築できるか？
• RQ3 別個の分類器は、再構築されたパッチの意味的属性を正確にラベル付けできるか？ これにより人間の解釈性が向上するか？
• RQ4 APPLEのオブジェクト局在化およびパッチラベリング性能は、CAMやランダムなニューロン選択と比較してどの程度優れているか？
• RQ5 アーキテクチャの変更なしに、異なるオブジェクトクラスやデータセットにスケーリング可能か？

主な発見

• APPLEの活性化合計指標は93%のオブジェクト局在化精度を達成し、ランダムベースライン（54%）を著しく上回った。
• パッチ分類のトップ2ラベル精度は0.871に達し、目と鼻のような類似属性間の混同があっても高い性能を示した。
• この手法は、アーキテクチャの変更を要しないCAMとは異なり、オブジェクトの全体的な輪郭に沿ったパッチを効果的に局在化できた。
• 画像NetとINRIAデータセットにおけるコアラ、ドッグ、人物の3つのクラスにおいて、4つの重要度指標（合計、分散、活性化、重み）が一貫して関連する画像領域を特定した。
• パッチ分類器はトップ1精度で69.7%を達成し、トップ2予測では83.2%まで向上した。これは、より良い訓練データがあれば精度をさらに向上させられることを示唆している。
• このアプローチにより、CNN意思決定の解釈に必要な手作業の負荷を軽減し、顕著な画像パッチの特徴局在化と意味的ラベル付けを両方自動化した。