[論文レビュー] Exploiting Web Images for Weakly Supervised Object Detection

Qingyi Tao, Hao Yang+1 more|arXiv (Cornell University)|Jul 27, 2017

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、弱教師付き物体検出（WSD）の性能を向上させるために、多様でウェブ由来の画像を活用するカリキュラム学習フレームワークを提案する。高品質な意味的・分布的関連性を持つ画像を用い、大規模かつ属性拡張済みのウェブデータセットを構築し、関連性に基づくフィルタリングを施したエイジルからハードな学習へのスケーリングを実施することで、ベースラインのWSDDNに比べてPASCAL VOC2007でmAPを2.9%、VOC2012で3.8%向上する最先端の性能を達成した。

ABSTRACT

In recent years, the performance of object detection has advanced significantly with the evolving deep convolutional neural networks. However, the state-of-the-art object detection methods still rely on accurate bounding box annotations that require extensive human labelling. Object detection without bounding box annotations, i.e, weakly supervised detection methods, are still lagging far behind. As weakly supervised detection only uses image level labels and does not require the ground truth of bounding box location and label of each object in an image, it is generally very difficult to distill knowledge of the actual appearances of objects. Inspired by curriculum learning, this paper proposes an easy-to-hard knowledge transfer scheme that incorporates easy web images to provide prior knowledge of object appearance as a good starting point. While exploiting large-scale free web imagery, we introduce a sophisticated labour free method to construct a web dataset with good diversity in object appearance. After that, semantic relevance and distribution relevance are introduced and utilized in the proposed curriculum training scheme. Our end-to-end learning with the constructed web data achieves remarkable improvement across most object classes especially for the classes that are often considered hard in other works.

研究の動機と目的

• 画像ラベルのみに依存し、ボクセル境界のアノテーションを一切用いない有効な弱教師付き物体検出手法の不足を解消すること。
• 検出が難しいオブジェクトに強い外観事前知識を提供できる、大規模かつ多様で関連性の高いウェブ画像データセットを構築すること。
• 簡単でクリアなウェブ画像から、複雑でごみだらけのターゲット画像へと段階的・階層的に知識を転送するカリキュラム学習スキームを設計すること。
• 意味的・分布的関連性フィルタリングを統合することで、小形または隠蔽されたオブジェクトの検出性能を向上させること。

提案手法

• スケーラブルで人的作業を要しないデータ収集を実現するため、テキストクエリと汎用属性テーブルを組み合わせた多属性ウェブデータ生成方式を用い、カテゴリ内多様性を向上させる。
• 事前学習済み分類器を用いて意味的関連性を計算し、ターゲットオブジェクトカテゴリに関連するウェブ画像をフィルタリングする。
• 特徴空間におけるk近傍法（kNN）を用いて分布的関連性を測定し、ウェブ画像がターゲットデータセットの画像と同じ多様体上に位置することを保証する。
• ウェブ画像（より簡単）を最初に学習し、その後ターゲット画像（より難しい）を学習するエイジルからハードなカリキュラム学習フレームワークを提案する。
• 性能の低下を防ぐために、関連性フィルタリング（意味的および分布的）を学習プロセスに統合する。
• 既存のWSDベースラインと互換性があり、ボクセル境界アノテーションを一切必要とせず、WSDDNにプラグインとして適用可能であり、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 背景がクリアで構成が単純なウェブ画像が、弱教師付き物体検出における有効な外観事前知識として機能するか？
• RQ2 人的アノテーションを一切用いずに、大規模かつ多様で関連性の高いウェブ画像データセットをどのように構築できるか？
• RQ3 意味的関連性と分布的関連性の両者がWSD性能向上に果たす相対的寄与度は何か？
• RQ4 エイジルからハードなカリキュラム学習スキームは、ウェブ画像から複雑なターゲット画像へと知識を効果的に転送できるか？

主な発見

• 多属性拡張と関連性フィルタリングを施した本稿で提案するウェブデータセットは、検出性能を顕著に向上させ、PASCAL VOC2007ではWSDDNに比べてmAPが2.9%向上した。
• 意味的関連性とエイジルからハードな学習を組み合わせたWebRelETHバージョンは、VOC2007で最高のmAP 36.8%を達成し、ベースラインのWSDDNに比べて2.9ポイントの向上を示した。
• VOC2012では3.8%のmAP向上を達成し、データセット間で強い一般化性能を示した。
• 単純にウェブ画像とターゲット画像を統合する（WebRel）と、ベースラインより性能が劣化する結果となり、非構造的なデータ統合は学習を損なうことが示された。
• 分布的関連性（kNNベース）は意味的関連性よりわずかに低い性能を示したため、意味的整合性の方が、微細な特徴分布マッチングよりも重要であると考えられる。
• 可視化比較では、本手法がボクセル境界予測を洗練させ、特にごみだらけのシーンで以前に検出されなかったオブジェクトをも検出できることを示した。