[論文レビュー] Interpreting CNN Knowledge via an Explanatory Graph

Quanshi Zhang, Ruiming Cao+3 more|arXiv (Cornell University)|Aug 5, 2017

Advanced Neural Network Applications参考文献 32被引用数 32

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）の特徴マップから、オブジェクト部品のパターンを分離する非教師あり手法を提案する。各部品をノードとして表現し、共活性化および空間的関係をエッジで符号化する説明的グラフを学習する。本手法は部品アノテーションを一切必要とせず、SOTA（最先端）の部品局所化性能を達成し、教師ありベースラインを上回る。これは、CNN特徴マップから安定的かつ転送可能な部品検出器を学習できることを示している。

ABSTRACT

This paper learns a graphical model, namely an explanatory graph, which reveals the knowledge hierarchy hidden inside a pre-trained CNN. Considering that each filter in a conv-layer of a pre-trained CNN usually represents a mixture of object parts, we propose a simple yet efficient method to automatically disentangles different part patterns from each filter, and construct an explanatory graph. In the explanatory graph, each node represents a part pattern, and each edge encodes co-activation relationships and spatial relationships between patterns. More importantly, we learn the explanatory graph for a pre-trained CNN in an unsupervised manner, i.e., without a need of annotating object parts. Experiments show that each graph node consistently represents the same object part through different images. We transfer part patterns in the explanatory graph to the task of part localization, and our method significantly outperforms other approaches.

研究の動機と目的

• 事前学習済みCNNに隠された知識階層、特にオブジェクト部品のような中レベルの視覚パターンの組織を解き明かすこと。
• 部品アノテーションを一切必要とせず、1つのCNNフィルタの特徴マップから複数のオブジェクト部品パターンを分離すること。
• 異なる層間における部品パターン間の共活性化および空間的関係を、グラフィカル構造を用いてモデル化すること。
• 部品局所化などの下流タスクに適した、転送可能で解釈可能なCNN知識表現を構築すること。
• 完全に非教師あり設定下で、学習された部品パターンの解釈可能性、安定性、および転送可能性を評価すること。

提案手法

• 本手法は、事前学習済みCNNの各畳み込み層の特徴マップを分析することで説明的グラフを学習し、各フィルタの出力を部品パターンの混合とみなす。
• 非教師ありクラスタリングを適用して、各フィルタの特徴マップ内に存在する明確な部品パターンを同定し、各クラスタをグラフのノードに割り当てる。
• 隣接する層のノード間にエッジを形成する。その根拠は、異なる入力画像間でのパターン活性化の共活性化統計と空間的近接性に基づく。
• ノードの位置を特定の特徴マップ位置に固定しないことで、部品パターンが異なる画像位置に柔軟に現れるのを許容する。
• グラフノードの活性化パターンを用いて画像領域を再構築することで、学習された部品意味の可視化と検証が可能になる。
• 転送可能性の評価には、グラフノードを部品名と関連付け、部品局所化タスクにおける検出器として使用する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありで、1つのCNNフィルタの特徴マップから複数のオブジェクト部品パターンを自動で発見・分離することは可能か？
• RQ2 事前学習済みCNNに符号化された知識階層の構造は何か？ そして、部品パターンのグラフとしてどのように表現できるか？
• RQ3 学習された部品パターンは、異なる画像やオブジェクトインスタンス間で安定的かつ一貫性があるか？
• RQ4 部品アノテーションを一切使用せず、学習された部品パターンを部品局所化などの下流タスクに効果的に転送できるか？
• RQ5 部品局所化において、非教師あり部品パターン抽出の性能は教師あり手法と比べてどうか？

主な発見

• 説明的グラフは、1つのフィルタの特徴マップから複数の部品パターンを効果的に分離でき、各ノードが多様な画像間で一貫して同じ意味的部品を表していることが確認された。
• CUB200-2011データセットでは正規化距離が0.1250を達成し、教師ありベースラインであるsupervised-AOG（0.1344）を上回った。
• Pascal VOC Partデータセットでは正規化距離0.1765を達成し、最良の教師ありベースラインと同等の性能を示した。
• 非教師ありアプローチは一部の教師あり手法をも凌駆し、学習されたパターンの強力な転送可能性を示した。
• ノイズの多い活性化をフィルタリングし、一貫性のあるグラフ構造に整理することで、CNN特徴表現の安定性と解釈可能性が著しく向上した。
• 説明的グラフにより、部品パターンの可視化と画像領域の再構築が可能となり、学習されたノードの意味的明確さと一貫性が裏付けられた。