[論文レビュー] Unsupervised Learning of Edges

Yin Li, Manohar Paluri+2 more|arXiv (Cornell University)|Nov 13, 2015

Advanced Neural Network Applications参考文献 36被引用数 7

ひとこと要約

この論文は、人間によるアノテーションのないエッジを用いずに、動画フレーム間の半密度な光流マッチングのみを用いて、非教師ありエッジ検出器を訓練する手法を提案する。反復的なフィードバックループにより、動き推定とエッジ検出を同時に改善することで、完全教師あり手法の性能の3–5%以内のエッジ検出性能を達成した。これは、動きの手がかりのみで、深層エッジ検出器を有効に事前学習でき、下流のオブジェクト検出タスクにおいて顕著な向上をもたらすことを示している。

ABSTRACT

Data-driven approaches for edge detection have proven effective and achieve top results on modern benchmarks. However, all current data-driven edge detectors require manual supervision for training in the form of hand-labeled region segments or object boundaries. Specifically, human annotators mark semantically meaningful edges which are subsequently used for training. Is this form of strong, high-level supervision actually necessary to learn to accurately detect edges? In this work we present a simple yet effective approach for training edge detectors without human supervision. To this end we utilize motion, and more specifically, the only input to our method is noisy semi-dense matches between frames. We begin with only a rudimentary knowledge of edges (in the form of image gradients), and alternate between improving motion estimation and edge detection in turn. Using a large corpus of video data, we show that edge detectors trained using our unsupervised scheme approach the performance of the same methods trained with full supervision (within 3-5%). Finally, we show that when using a deep network for the edge detector, our approach provides a novel pre-training scheme for object detection.

研究の動機と目的

• 高精度なエッジ検出に、強力な人間の教師付き情報が必要かどうかを調査すること。
• 動画からの動きの手がかりを活用して、人間による境界アノテーションなしにエッジ検出器を訓練する手法を開発すること。
• 動画データを用いた非教師あり事前学習が、オブジェクト検出などの下流タスクの性能を向上させるかどうかを評価すること。
• 動きのエッジが、エッジ検出のスケーラブルで自己教師付きの信号として機能するかどうかを特定すること。

提案手法

• 本手法は、人間によるアノテーションのないエッジを一切使用せず、動画フレーム間の半密度なマッチングのみを入力として用いる。
• 現在のエッジ予測を用いて光流を改善し、その逆に動きエッジを正例として用いてエッジ検出器を再訓練するという、交互なプロセスを実行する。
• 動きエッジ（大きな流れの不連続性がある場所）を正例として用い、非エッジ領域からのランダムサンプリングで負例を生成する。
• 大規模な動画データを用いて、エッジ検出と光流推定の両方を反復的に改善する。
• 深層ネットワーク（Holistic Edge）または構造化ランダムフォレスト（Structured Edge）を、動き由来の教師信号を用いて訓練する。
• エッジの疎性を活用して負例サンプリングにおける偽陰性を最小限に抑え、学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 動画からの動きの手がかりのみを用いて、人間による境界アノテーションなしにエッジ検出を効果的に学習できるか。
• RQ2 動きエッジを用いて学習した非教師ありエッジ検出器は、完全教師ありベースラインと比較してどの程度の性能を示すか。
• RQ3 動画データを用いた非教師あり事前学習が、オブジェクト検出などの下流タスクの性能を向上させるか。
• RQ4 非教師あり手法が、ImageNet事前学習と比較して、どの程度の高レベルのオブジェクト情報を取り込んでいるか。

主な発見

• 動画データを用いて学習した非教師ありエッジ検出器は、標準的なエッジ検出ベンチマークにおいて、完全教師ありベースラインの3–5%以内の性能を達成した。
• PASCAL VOC 2007でオブジェクト検出に微調整した場合、非教師あり事前学習済みのHolistic Edgeネットワークは58.6 mAPを達成し、ランダム初期化からの学習（38.2 mAP）を上回った。
• 動画データを用いた事前学習により、ランダム初期化に比べてオブジェクト検出のmAPが約3ポイント向上したが、ImageNet事前学習（66.9 mAP）にはまだ劣っていた。
• 動きエッジが、明示的な人間アノテーションがなくても、エッジ検出の有効な自己教師信号として機能することを示した。
• 光流推定とエッジ検出の間の反復的フィードバックループにより、複数の学習イテレーションにわたり、両タスクの性能が一貫して向上した。
• 弱いエッジやノイズの多いマッチングの処理に限界はあったが、本手法は大規模な動画データがエッジ検出の強力な非教師あり事前学習を可能にすることを示した。