[論文レビュー] Interactively Transferring CNN Patterns for Part Localization

Quanshi Zhang, Ruiming Cao+4 more|arXiv (Cornell University)|Aug 5, 2017

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 17

ひとこと要約

本論文は、最小限の人的入力を用いて事前学習済みCNNの潜在パターンを対話的に転送する手法を提案する。畳み込み層からの活性化パターンをマイニングし、ユーザーがアンドオアグラフ（AOG）を介してそれらを精練可能にすることで、特に少数ショット設定において優れた局所化精度を達成する。人間の知覚を活用してノイズ混じりまたは誤ったパターンを是正することで、エンドツーエンド学習のベースラインを上回る性能を発揮する。

ABSTRACT

In the scenario of one/multi-shot learning, conventional end-to-end learning strategies without sufficient supervision are usually not powerful enough to learn correct patterns from noisy signals. Thus, given a CNN pre-trained for object classification, this paper proposes a method that first summarizes the knowledge hidden inside the CNN into a dictionary of latent activation patterns, and then builds a new model for part localization by manually assembling latent patterns related to the target part via human interactions. We use very few (e.g., three) annotations of a semantic object part to retrieve certain latent patterns from conv-layers to represent the target part. We then visualize these latent patterns and ask users to further remove incorrect patterns, in order to refine part representation. With the guidance of human interactions, our method exhibited superior performance of part localization in experiments.

研究の動機と目的

• 非常に少ないアノテーション例（1～3例）でのオブジェクト部品検出器の学習という課題に取り組むこと。エンドツーエンドCNN学習ではノイズに過学習したり、意味的部品を捉えられなくなることがある。
• CNNから得られる潜在パターンの対話的精錬を可能にし、部品局所化における意味的整合性と耐障害性を確保すること。
• 事前学習済みCNNから人間が理解可能なAOGモデルに知識を転送する汎用的フレームワークを構築すること。
• 事前学習済みCNN特徴と対話的パターン選択を組み合わせることで、弱教師あり設定における部品局所化性能を向上させること。

提案手法

• 頻度が高く、文脈的に関連性があり、空間的に一貫性のあるパターンに注目する統計的基準を用いて、事前学習済みCNNの畳み込み層から数百の潜在活性化パターンをマイニングする。
• マイニングされたパターンをアンドオアグラフ（AOG）で表現し、CNNユニットから潜在パターン、部品テンプレート、意味的部品に至る意味的階層をモデル化する。
• アップ畳み込みネットワーク（up-conv-net）を用いて、異なるネットワーク深さにおける潜在パターンを可視化し、低レベルの詳細と高レベルの文脈を人間が検査可能にする。
• 視覚的検査に基づき、関係のないAOGノード（すなわち、パターン）を手動で削除することで、背景ノイズや誤検出を効果的に除去する。
• 人間が検証済みで意味的に関連性のあるパターンのみを組み合わせて最終的なAOGモデルを構築し、その後部品局所化に使用する。
• 正規化距離を指標として用い、オブジェクトのバウンディングボックスを用いて画像をクロップすることで、部品検出性能を隔離して評価する。

実験結果

リサーチクエスチョン

• RQ1 人間による対話的精錬が、少数ショット学習状況における部品局所化性能を向上させ得るか？
• RQ2 事前学習済みCNNの内部表現を効果的にマイニングし、人間が理解可能なモデルに転送できるか？
• RQ3 AOGによる対話的パターン選択は、最小限の教師あり学習におけるエンドツーエンド学習を上回る性能を発揮するか？
• RQ4 人間の知覚によってガイドされた場合、低レベルと高レベルのCNN特徴は、正確な部品局所化にどのように寄与するか？

主な発見

• 本手法はPascal VOC Partデータセットで最先端の性能を達成し、ネストの正規化距離は、鳥のくちばしで0.1225、首で0.1570、翼で0.1580、ネコの目で0.1331を記録し、Mining-rawベースラインを上回った。
• ILSVRC 2013 DET Animal-Partデータセットでは、全部品の平均正規化距離が低減され、少数ショット部品局所化において一貫した優位性を示した。
• CUB200-2011データセットの評価では、本手法がベースラインを下回る正規化距離を達成し、特に鳥の頭部（額）のような難易度の高い部品において顕著な優位性を示した。
• 人間によるインタラクション時間は1枚あたり平均12.3秒で、1つの部品バウンディングボックスのラベル付けには3.4秒を要した。これは、対話的利用に実用的であることを示している。
• 可視化結果から、低層のパターンが細部（例：くちばしの質感）を捉えており、高層のパターンが文脈的関係をエンコードしていることが明らかになった。両者とも人間による選択によって効果的に精錬された。
• 人間によるプリーニング後のAOGベースモデルは、局所化精度が顕著に向上しており、人間の知覚がノイズ混じりまたは誤ったCNNパターンを効果的に是正していることを確認した。