[論文レビュー] Bridging Saliency Detection to Weakly Supervised Object Detection Based on Self-paced Curriculum Learning

Dingwen Zhang, Deyu Meng+2 more|arXiv (Cornell University)|Mar 3, 2017

Visual Attention and Saliency Detection参考文献 31被引用数 83

ひとこと要約

本論文は、弱教師付き物体検出の priors として顕著性検出を活用し、自己ペースのカリキュラム学習で easy から hard の概念を順次学習させることで、弱監視下で最先端の結果を達成する。

ABSTRACT

Weakly-supervised object detection (WOD) is a challenging problems in computer vision. The key problem is to simultaneously infer the exact object locations in the training images and train the object detectors, given only the training images with weak image-level labels. Intuitively, by simulating the selective attention mechanism of human visual system, saliency detection technique can select attractive objects in scenes and thus is a potential way to provide useful priors for WOD. However, the way to adopt saliency detection in WOD is not trivial since the detected saliency region might be possibly highly ambiguous in complex cases. To this end, this paper first comprehensively analyzes the challenges in applying saliency detection to WOD. Then, we make one of the earliest efforts to bridge saliency detection to WOD via the self-paced curriculum learning, which can guide the learning procedure to gradually achieve faithful knowledge of multi-class objects from easy to hard. The experimental results demonstrate that the proposed approach can successfully bridge saliency detection and WOD tasks and achieve the state-of-the-art object detection results under the weak supervision.

研究の動機と目的

• 画像レベルのラベルから物体の位置を推定する必要がある、弱教師付き物体検出（WOD）の課題に動機づける。
• 顕著性検出がWODを導く有用な事前情報を提供できるかを探る。
• 易しいものから難しいものへと順次学習する自己ペースのカリキュラム学習戦略を導入する。
• 顕著性をWODへ適用する際の課題と限界を分析し、橋渡しフレームワークを提案する。）

提案手法

• WODの事前情報としての顕著性の役割と限界を分析する。
• 易い概念から難しい概念へとWOD学習プロセスを導く自己ペースのカリキュラム学習フレームワークを提案する。
• 顕著性由来の手がかりをWODのトレーニングパイプラインに統合し、候補領域を誘導する。
• 弱教師付きの下で物体局在を徐々に洗練させる学習戦略を宣言する。
• この手法が弱教師付きで検出性能の改善をもたらすことを実証する。

実験結果

リサーチクエスチョン

• RQ1 顕著性は弱教師付き物体検出を改善する効果的な事前情報を提供し得るか？
• RQ2 自己ペースのカリキュラム学習は顕著性指向のWODにおける曖昧さをどのように軽減できるか？
• RQ3 顕著性とカリキュラム学習戦略を橋渡しすることで、弱教師付きの下でより高品質な物体局在を生み出すか？
• RQ4 顕著性の手がかりをWODフレームワークに組み込む際の主な課題は何か？

主な発見

• 本手法は顕著性検出とWODを橋渡し、弱教師付けでの物体検出の改善を実現する。
• 自己ペースのカリキュラム学習は、より簡単な局在タスクから難しい局在タスクへとモデルを導き、多クラス学習の信頼性を高める。
• 実験結果は、本手法が当時の弱教師付き物体検出で最先端の性能を達成することを示す。
• 本研究は、人間のような選択的注意と段階的学習をWOD設定で組み合わせる潜在力を強調する。