[論文レビュー] Large-Scale Object Discovery and Detector Adaptation from Unlabeled Video

Aljoša Ošep, Paul Voigtlaender+3 more|arXiv (Cornell University)|Dec 23, 2017

Advanced Neural Network Applications参考文献 19被引用数 10

ひとこと要約

本論文は、モバイルプラットフォームからのラベルなし動画のみを用いて大規模オブジェクト発見と検出器の適応化を実現する自己教師付きフレームワークを提案する。3つのデータセットにまたがる370,000フレームからオブジェクトトラックを抽出し、学習済み埋め込み空間における外観ベースのクラスタリングを適用することで、新たなオブジェクトカテゴリ（例：交通コーン、工事フェンス）を発見し、既知のカテゴリの検出器を微調整する。これにより、KITTIで最小限のアノテーション作業で検出性能が向上した。

ABSTRACT

We explore object discovery and detector adaptation based on unlabeled video sequences captured from a mobile platform. We propose a fully automatic approach for object mining from video which builds upon a generic object tracking approach. By applying this method to three large video datasets from autonomous driving and mobile robotics scenarios, we demonstrate its robustness and generality. Based on the object mining results, we propose a novel approach for unsupervised object discovery by appearance-based clustering. We show that this approach successfully discovers interesting objects relevant to driving scenarios. In addition, we perform self-supervised detector adaptation in order to improve detection performance on the KITTI dataset for existing categories. Our approach has direct relevance for enabling large-scale object learning for autonomous driving.

研究の動機と目的

• 自動運転におけるアノテーションコストを削減するため、大規模なラベルなし動画を活用したオブジェクト発見と検出器の適応化を実現すること。
• 人為的アノテーションによるバウンディングボックスなしで、モバイルで撮影された動画から完全に自動的にオブジェクトトラックを抽出すること。
• トラッキングされた外観の非教師付きクラスタリングにより、これまで未発見であったシナリオ固有のオブジェクトカテゴリを発見すること。
• 抽出されたトラックを仮ラベルデータとして用いた自己教師学習による微調整により、既知のカテゴリ（例：車両、歩行者）の検出性能を向上させること。
• KITTI、オックスフォード・ロボットカー、スヒプホール空港の実世界データセットを用いて、本手法の実現可能性とスケーラビリティを示すこと。

提案手法

• カテゴリに依存しないオブジェクトトラッキングパイプラインを用いて、多様なドライブおよびロボティクスのシナリオにおけるラベルなし動画シーケンスから高品質なオブジェクトトラックを抽出する。
• トラッキングされたオブジェクトのクロップから外観埋め込みを抽出し、階層的クラスタリングを実行することで、新たな未発見のオブジェクトカテゴリを発見する。
• 抽出されたトラックを仮ラベルデータとして用いた自己教師学習による検出器適応手法により、事前学習済み検出器（例：Faster R-CNN）を微調整する。
• 幾何的制約（例：地面や高い構造物）に基づいてアンカーの部分集合選択を実施し、ネガティブサンプリングと検出性能を向上させる。
• トラッカーが検出しない可能性のあるオブジェクト領域をカバーするアンカーを除外する、新たなアンカー部分集合選択戦略を提案し、ノイズの多いネガティブ例を低減する。
• 発見されたカテゴリに対して、手動アノテーションなしで、クラスタリング結果に基づきランダムに初期化された分類ヘッドをエンドツーエンドで学習させる。

実験結果

リサーチクエスチョン

• RQ1 モバイルプラットフォームで収集された大規模なラベルなし動画から、実世界のドライブおよびロボティクスのシナリオにおいて、信頼性を持ってオブジェクトトラックを抽出できるか？
• RQ2 トラッキングされたオブジェクト特徴の外観ベースのクラスタリングが、人為的監視なしに、新たなシナリオ固有のオブジェクトカテゴリを効果的に発見できるか？
• RQ3 抽出されたトラックを用いた自己教師学習による微調整は、車両や歩行者といった既知のカテゴリの検出性能をどの程度向上できるか？
• RQ4 幾何的制約に基づくアンカー部分集合選択は、検出器適応性能の向上にどの程度効果的か？
• RQ5 手動アノテーションなしで、クラスタリング結果のみを用いて、自動的に発見されたカテゴリの検出器を効果的に学習できるか？

主な発見

• 本手法は、3つの大規模データセットから合計370,000フレーム以上のオブジェクトトラックを効果的に抽出し、多様な環境にわたる堅牢性と一般化性能を示した。
• KITTIにおける検出器性能は、全カテゴリで顕著に向上し、特にオックスフォードデータセットでは自転車乗りと歩行者の検出性能向上が顕著に観察された。
• 幾何的制約に基づくアンカー部分集合選択法は、歩行者検出性能の向上に顕著な効果を示し、ノイズの多いネガティブ例の低減に有効であることが示された。
• 未知のトラックをネガティブ例として使用しても性能に顕著な悪影響が見られず、実用的な堅牢性が裏付けられた。
• 定性的な結果から、自動的に発見されたクラスタに学習させた検出器は、交通コーンや工事現場のフェンスといったシナリオ固有のオブジェクトを有望な精度で検出できることが示された。
• KITTIトラックコレクション（KTC）が作成され、33の異なるオブジェクトカテゴリに手動で分類され、今後の研究のための貴重なベンチマークが提供された。