[論文レビュー] Mining Object Parts from CNNs via Active Question-Answering

Quanshi Zhang, Ruiming Cao+2 more|arXiv (Cornell University)|Apr 11, 2017

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 7

ひとこと要約

本論文では、人間のフィードバックを用いて段階的に拡大するアンドオアグラフ（AOG）を用いて、事前学習済みCNNから解釈可能なオブジェクト部の概念を抽出するアクティブな質疑応答フレームワークを提案する。CNN特徴量の潜在的パターンを活用し、アドホックな学習によって未説明のオブジェクトに焦点を当てることで、部品アノテーションの1/6～1/3のコストで、fast-RCNNと同等の部品局所化性能を達成し、人的アノテーションコストを顕著に削減しながらも高い正確性を維持する。

ABSTRACT

Given a convolutional neural network (CNN) that is pre-trained for object classification, this paper proposes to use active question-answering to semanticize neural patterns in conv-layers of the CNN and mine part concepts. For each part concept, we mine neural patterns in the pre-trained CNN, which are related to the target part, and use these patterns to construct an And-Or graph (AOG) to represent a four-layer semantic hierarchy of the part. As an interpretable model, the AOG associates different CNN units with different explicit object parts. We use an active human-computer communication to incrementally grow such an AOG on the pre-trained CNN as follows. We allow the computer to actively identify objects, whose neural patterns cannot be explained by the current AOG. Then, the computer asks human about the unexplained objects, and uses the answers to automatically discover certain CNN patterns corresponding to the missing knowledge. We incrementally grow the AOG to encode new knowledge discovered during the active-learning process. In experiments, our method exhibits high learning efficiency. Our method uses about 1/6-1/3 of the part annotations for training, but achieves similar or better part-localization performance than fast-RCNN methods.

研究の動機と目的

• 事前学習済みCNNに内在する隠れた知識を解釈可能かつ意味的に整理された方法で理解し、オブジェクト部の理解を促進する手法を開発すること。
• 完全な弱教師あり学習やエンドツーエンド学習ではなく、アクティブな質疑応答を用いることで、部品局所化における人的アノテーションの負担を軽減すること。
• CNN活性化から階層的な部品構造をモデル化する解釈可能なAOGを、人的フィードバックに従って段階的に拡大可能にする仕組みを提供すること。
• 現在のAOGが説明できないオブジェクトに焦点を当てることで、最小限の監視のもとで高い部品局所化性能を達成すること。

提案手法

• 本手法は事前学習済みCNNを用いてオブジェクト部を検出するとともに、現在のAOGが部品の外観を説明できない画像を特定する。
• 利益予測モデルに基づき、AOGの向上に最も寄与すると予測される未説明のオブジェクトを、人間への質問の対象として能動的に選択する。
• 人間の回答が、これまで欠落していた部品テンプレートに対応するCNN内の新たな神経パターンの発見を導く。
• これらの新たなパターンを用いて、AOGに新しい分岐を追加する。ANDノードは構成的領域を表し、ORノードは代替的な部品テンプレートをエンコードする。
• AOGは4層の意味的階層を符号化する：部品（ORノード）、部品テンプレート（ANDノード）、潜在的パターン（ORノード）、CNNユニット（リーフノード）。元のCNN重みは微調整しない。
• モデルのずれを回避するため、事前学習済み特徴量を再利用し、既存の活性化からパターンを抽出・整理するにとどめる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNは、階層的な部品構造を明らかにする解釈可能なアンドオアグラフ（AOG）によって意味的に解釈可能か？
• RQ2 アクティブな質疑応答は、人的監視を最小限に抑えながら、段階的に新たな部品テンプレートを効率的に発見できるか？
• RQ3 人間のフィードバックを用いてCNNから潜在的パターンを抽出することで、標準的な弱教師あり学習やエンドツーエンド手法よりも優れた部品局所化性能が得られるか？
• RQ4 本手法は、fast-RCNNのような完全に教師ありのモデルと同等の性能を達成できるか、かつ部品アノテーションの数を著しく減らすことができるか？

主な発見

• Pascal VOC Partデータセットにおいて、わずか10個の部品アノテーションでのみ、fast-RCNNが60個のアノテーションで学習した場合を上回る優れた部品局所化性能を達成した。
• ILSVRC 2013 DET Animal-Partデータセットでは、部品アノテーションを1/6～1/3の水準にまで削減しながら、fast-RCNNと同等またはそれを上回る性能を達成した。
• fast-RCNNによる精練を組み合わせた場合、30個のアノテーションでPCPスコア50.5を達成し、同じ数のアノテーションでfast-RCNNが達成した45.7を上回った。
• アクティブQAプロセスは、一般的でかつモデル化が不十分な部品の外観を効率的に優先し、すでに説明済みまたは希少なケースに対して無駄なアノテーション作業を減らした。
• AOGの拡大プロセスは高い学習効率を示し、反復的な人的フィードバックとパターン抽出を通じて、着実に性能が向上した。
• CNN重みの微調整を行わなかったため、モデルのずれを回避した。代わりに、事前学習済み特徴量を再利用し、新しい部品テンプレートのためのパターン抽出と整理を実施した。