[論文レビュー] Tinkering Under the Hood: Interactive Zero-Shot Learning with Net Surgery

Vivek Krishnan, Deva Ramanan|arXiv (Cornell University)|Dec 15, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 4

ひとこと要約

本論文は、視覚的パーツの図式言語を用いて事前学習済み畳み込みニューラルネットワーク（CNN）を再構成する『Net Surgery』を用いたインタラクティブなゼロショット学習を提案する。この手法により、追加の学習データが不要な状態で、新しい概念（例：縞模様の車）の検出が可能になる。内部フィルタ活性化を可視化し、空間的に構造化された図式言語分類器（PLC）に再結合することで、少なくとも1つの照会された視覚的パーツを検出する際のmAPが93.1％に達し、強力なゼロショット一般化性能を示している。

ABSTRACT

We consider the task of visual net surgery, in which a CNN can be reconfigured without extra data to recognize novel concepts that may be omitted from the training set. While most prior work make use of linguistic cues for such "zero-shot" learning, we do so by using a pictorial language representation of the training set, implicitly learned by a CNN, to generalize to new classes. To this end, we introduce a set of visualization techniques that better reveal the activation patterns and relations between groups of CNN filters. We next demonstrate that knowledge of pictorial languages can be used to rewire certain CNN neurons into a part model, which we call a pictorial language classifier. We demonstrate the robustness of simple PLCs by applying them in a weakly supervised manner: labeling unlabeled concepts for visual classes present in the training data. Specifically we show that a PLC built on top of a CNN trained for ImageNet classification can localize humans in Graz-02 and determine the pose of birds in PASCAL-VOC without extra labeled data or additional training. We then apply PLCs in an interactive zero-shot manner, demonstrating that pictorial languages are expressive enough to detect a set of visual classes in MS-COCO that never appear in the ImageNet training set.

研究の動機と目的

• 訓練データに存在しない新しい視覚的コンセプトのゼロショット検出を可能にすること。
• 人間が言語的ではなく視覚的意味論を用いてネットワーク再構成をガイドするインタラクティブフレームワークを開発すること。
• フィルタ活性化の可視化と空間的関係を用いて、CNN内部表現の解釈と再接続を行うこと。
• 事前学習済みCNNが再利用可能な部分ベースの特徴を暗黙的に学習しており、人間によるガイド付き再構成によって再利用可能であることを示すこと。
• 追加のラベル付きデータなしで、実世界のデータセット（MS-COCO、PASCAL VOC）上で本手法を検証すること。

提案手法

• 特定のフィルタを最大に活性化する画像パッチを同定することで、内部CNN表現を可視化し、階層的で視野的マップを明らかにする。
• フィルタ応答のクラスタを視覚的コンセプト（例：テクスチャ、パーツ、物体）として解釈することで、図式言語を構築する。
• 視覚的パーツを空間論理（例：共起性、相対的位置）を用いて組み合わせる図式言語分類器（PLC）の空間文法を定義する。
• 事前学習済みCNNの上にPLCを追加層として挿入することでネットワークを再構成し、エンドツーエンドのファインチューニングを回避する。
• ネガティブパーツ（例：縞模様の車の頭部スコアを差し引く）を用いて検出を精緻化し、誤検出を低減する。
• ユーザー研究と再検出10でのmAPを用いて、部分的または完全な視覚的コンセプトの検出精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNを、追加の学習データなしで、新しい視覚的コンセプトを検出できるように再構成できるか？
• RQ2 人間ユーザーは、言語的ではなく視覚的ヒントを用いて、CNN内部表現を効果的に解釈し再構成できるか？
• RQ3 視覚的パーツの図式言語が、未観測のコンセプト用に正確で一般化可能な検出器を構築するのに十分か？
• RQ4 ネガティブパーツの使用は、複雑な視覚的コンセプトの検出精度を向上させるのにどの程度有効か？
• RQ5 PLCは、実世界のベンチマークで弱教師ありおよびゼロショット設定において高い性能を達成できるか？

主な発見

• 事前学習済みImageNet CNN上に構築された図式言語分類器（PLC）は、ラベル付きデータを一切使用せず、PASCAL VOC 2007検証セットで左向き・右向きの鳥の検出において87.5％のポーズ精度を達成した。
• 本手法は、追加の学習なしにGraz-02データセットで人間を局所化でき、以前に存在しなかったオブジェクトクラスに対しても、強力なゼロショット一般化性能を示した。
• MS-COCOにおける新しいコンセプトの発見において、少なくとも1つの照会された視覚的パーツを検出する際の平均平均精度（mAP）は、再検出10で0.931に達した。
• すべての照会された視覚的パーツを検出する際のmAPは再検出10で0.401であった。これは、完全なコンセプト一致が困難である一方で、部分的検出は非常に効果的であることを示している。
• ネガティブパーツ（例：動物の頭部スコアを差し引く）を組み込むことで、スコアマップとリランキング性能が著しく向上し、キツネに似た領域での誤検出が低減した。
• ユーザー研究により、参加者が視覚的クエリを信頼性高く解釈し、検出品質を評価できることを確認した。これにより、図式言語アプローチの直感的な使いやすさが裏付けられた。