[論文レビュー] Growing Interpretable Part Graphs on ConvNets via Multi-Shot Learning

Quanshi Zhang, Ruiming Cao+2 more|arXiv (Cornell University)|Nov 14, 2016

Advanced Neural Network Applications参考文献 34被引用数 10

ひとこと要約

本稿では、3〜12個のパーツアノテーションのみを用いて特徴マップから信頼性の高い隠れパターンを抽出することで、事前学習済みConvNetsに解釈可能なパーツグラフを成長させるマルチショット学習手法を提案する。この手法は、CNNユニットと意味的パーツを結びつける階層的アンドオアグラフ（AOG）を構築し、PASCAL VOCおよびImageNetでベースライン手法と比較してパーツ中心予測において13%〜107%の向上を達成する。

ABSTRACT

This paper proposes a learning strategy that extracts object-part concepts from a pre-trained convolutional neural network (CNN), in an attempt to 1) explore explicit semantics hidden in CNN units and 2) gradually grow a semantically interpretable graphical model on the pre-trained CNN for hierarchical object understanding. Given part annotations on very few (e.g., 3-12) objects, our method mines certain latent patterns from the pre-trained CNN and associates them with different semantic parts. We use a four-layer And-Or graph to organize the mined latent patterns, so as to clarify their internal semantic hierarchy. Our method is guided by a small number of part annotations, and it achieves superior performance (about 13%-107% improvement) in part center prediction on the PASCAL VOC and ImageNet datasets.

研究の動機と目的

• 再訓練を伴わずに事前学習済みCNNから明示的な意味的コンセプトを抽出し、ブラックボックス表現の解釈を可能にする。
• CNN特徴マップ内の暗黙のパターンを活用することで、少数ショット学習によるパーツ局在化を可能にする。
• 意味的パーツ構造と空間的関係を捉える階層的で解釈可能なグラフィカルモデル（アンドオアグラフ）を構築する。
• 1パーツあたり3〜12例のアノテーションのみを用いて、段階的に新しい意味的グラフを成長させることで、大規模アノテーションへの依存を低減する。
• 時間的・データ的制約が大きいロボット操作などのリアルワールド応用において、リアルタイムでの学習を可能にする。

提案手法

• アノテート済み画像全体にわたって一貫して部分または文脈領域を表すユニットを特定することで、事前学習済みCNN特徴マップから信頼性の高い隠れパターンを抽出する。
• 4層構造のアンドオアグラフ（AOG）を定義する。ORノードは代替的なパーツテンプレートを表し、ANDノードはパーツの分解を表し、3層目のORノードは部分的パーツまたは文脈をエンコードし、端末ノードはCNNユニットである。
• 活性化の一貫性、空間的安定性、共起頻度に基づくメトリクスを用いて、ノイズから信頼性の高い隠れパターンを区別する。
• 応答強度、理想位置からの空間的変形、上位層のパターンとのペアワイズ空間的適合性を用いて、端末ノードの推論スコアを定式化する。
• 真値パーツアノテーションから、理想位置（$\overline{\bf P}_{V^{\textrm{lat}}}$）および変位（$\Delta{\bf P}_{V^{\textrm{lat}}}$）といったAOGの主要パラメータを推定する。
• 階層的推論を実行する：まず高レベルの隠れパターンを推論し、次にそれらを用いて学習済みの空間的・応答制約に基づき、低層でのユニット選択をガイドする。

実験結果

リサーチクエスチョン

• RQ1 少数のパーツアノテーションのみを用いて、事前学習済みCNNから解釈可能な意味的パーツ構造を抽出できるか？
• RQ2 CNN特徴マップ内で意味のある部分的パーツや文脈に対応する信頼性の高い隠れパターンをどのように特定できるか？
• RQ3 微調整を伴わずに、事前学習済みCNN上に階層的アンドオアグラフを段階的に成長させ、意味的パーツ階層をモデル化できるか？
• RQ4 最小限の監視のもとで正確かつ頑健なパーツ局在化を実現するためのスコアリング機構は何か？
• RQ5 この手法は、エンドツーエンドの微調整やベースライン検出法と比較して、どの程度パーツ局在化性能を向上させるか？

主な発見

• 本手法は、PASCAL VOCおよびImageNetデータセットにおいて、ベースライン手法と比較してパーツ中心予測の正確性を13%〜107%向上させる。
• 学習済みAOGを用いて、例えば「犬の頭部」のようなオブジェクトパーツを再構築でき、解釈可能性と構造的整合性を示している。
• 変形や空間的変動に対してもAOG構築が頑健であることが示され、さまざまなポーズや外観において安定した性能を発揮している。
• 未アノテートの画像に対しても一般化性能が高く、 mined 隠れパターンが同カテゴリの未アノテートインスタンスに頻繁に出現している。
• 応答強度、空間的変形、ペアワイズ適合性スコアの組み合わせにより、最小限の監視のもとでも正確な局在化が可能である。
• 1つのアノテーションのみで新しいパーツの学習をリアルタイムで可能とし、リアルワールド環境におけるアノテーションコストを顕著に低減できる。