[論文レビュー] ConceptLearner: Discovering Visual Concepts from Weakly Labeled Image Collections

Bolei Zhou, Vignesh Jagadeesh+1 more|arXiv (Cornell University)|Nov 19, 2014

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 6

ひとこと要約

ConceptLearnerは、人為的バウンディングボックスが不要なタグや記述による弱いラベル付き画像コレクションから10,000以上の視覚的コンセプト検出器を発見するスケーラブルでマックスマージンのハードインスタンス学習アプローチを提案する。画像レベル認識および領域レベル検出において競争力ある性能を達成し、ドメイン選択型の監視下でSUNおよびPascal VOC 2007で弱い教師ありおよびウェブリー教師ありのベースラインを上回る。

ABSTRACT

Discovering visual knowledge from weakly labeled data is crucial to scale up computer vision recognition system, since it is expensive to obtain fully labeled data for a large number of concept categories. In this paper, we propose ConceptLearner, which is a scalable approach to discover visual concepts from weakly labeled image collections. Thousands of visual concept detectors are learned automatically, without human in the loop for additional annotation. We show that these learned detectors could be applied to recognize concepts at image-level and to detect concepts at image region-level accurately. Under domain-specific supervision, we further evaluate the learned concepts for scene recognition on SUN database and for object detection on Pascal VOC 2007. ConceptLearner shows promising performance compared to fully supervised and weakly supervised methods.

研究の動機と目的

• 高価な完全アノテーション付きデータセットを必要としない視覚認識システムのスケーリングに取り組むこと。
• ラベルがノイズが多い、欠落している、または不正確な弱いラベル付き画像コレクションから視覚的コンセプトを発見すること。
• 人間の関与なしにスケールで視覚的コンセプト検出器を学習する完全自動化された手法を開発すること。
• ドメイン選択型の監視を用いて、学習された検出器の一般化性能を新しいデータセットで評価すること。
• 発見されたコンセプトが画像レベル認識および領域レベル検出タスクにおいて実用的であることを示すこと。

提案手法

• NUS-WIDEやSBUのようなデータセットからの画像タグや短い記述といった弱いラベルを監視信号として活用する。
• スケーラブルなマックスマージン学習フレームワークにハードインスタンスマイニングを適用し、弱いラベル付きデータから視覚的コンセプト検出器を学習する。
• 2段階のパイプラインを採用：まず、元のデータセットでコンセプト検出器を学習し、次にドメイン選択型の監視を用いてそれらを新しいデータセットに適用する。
• オブジェクト検出評価のため、R-CNNから適応された領域提案および深層特徴抽出パイプラインを用いる。
• Pascal VOC 2007への転送のため、検証セットの性能に基づき上位のコンセプト検出器を選択する。
• 文法的構造と共起制約を統合して予測を精緻化し、検出されたコンセプトの重複を低減する。

実験結果

リサーチクエスチョン

• RQ1 人為的バウンディングボックスが不要な弱いラベル付き画像コレクションから、スケールで視覚的コンセプトを発見できるか？
• RQ2 弱いラベル付きデータから学習されたコンセプト検出器は、SUN や Pascal VOC 2007 のような新しいデータセットにどれほど一般化できるか？
• RQ3 ドメイン選択型の監視は、下流の認識および検出タスクにおける弱い教師あり検出器の性能を向上させられるか？
• RQ4 シーン認識およびオブジェクト認識において、ConceptLearnerの性能は完全教師ありおよび弱い教師ありのベースラインと比べてどうか？
• RQ5 発見されたコンセプト検出器は、画像レベル認識および領域レベル検出の両方のタスクで効果的に使用できるか？

主な発見

• ConceptLearnerは、NUS-WIDEおよびSBUデータセットの弱いラベル付きデータから人為的アノテーションを一切用いずに10,000個を超える視覚的コンセプト検出器を学習した。
• SUNデータベースでは、シーン認識の平均mAPが35.6%に達し、弱い教師ありおよびウェブリー教師ありのベースラインを上回った。
• Pascal VOC 2007では、20のオブジェクトクラスの平均精度（AP）が44.7%に達し、ウェブリー教師ありおよびビデオ教師あり手法を上回った。
• 14/20のPascal VOC 2007クラスにおいて、最新の弱い教師あり手法ICML’14 [31]を上回った。
• ドメイン選択型の監視により優れた一般化性能を示し、最小限の再トレーニングで新しいデータセットへの効果的な転送が可能となった。
• このフレームワークは画像レベル認識および領域レベル検出の両方をサポートしており、両設定で高い精度が得られた。