[論文レビュー] Move to See Better: Self-Improving Embodied Object Detection

Zhaoyuan Fang, Ayush Jain+3 more|arXiv (Cornell University)|Nov 30, 2020

Advanced Neural Network Applications参考文献 54被引用数 13

ひとこと要約

本論文では、自己教師あり手法を用いて、エマーブドエージェントが能動的に移動することでマルチビューRGB-Dデータを収集し、視点集約を用いて高品質な2Dおよび3D偽ラベルを生成し、人為的アノテーションなしで事前学習済み検出器を微調整することにより、2Dおよび3Dオブジェクト検出を向上させる手法を提案する。この手法は、新しい環境において検出器の性能を顕著に向上させ、先行する自己教師あり3D検出手法を上回り、新規オブジェクトカテゴリに対する弱教師あり学習を可能にする。

ABSTRACT

Passive methods for object detection and segmentation treat images of the same scene as individual samples and do not exploit object permanence across multiple views. Generalization to novel or difficult viewpoints thus requires additional training with lots of annotations. In contrast, humans often recognize objects by simply moving around, to get more informative viewpoints. In this paper, we propose a method for improving object detection in testing environments, assuming nothing but an embodied agent with a pre-trained 2D object detector. Our agent collects multi-view data, generates 2D and 3D pseudo-labels, and fine-tunes its detector in a self-supervised manner. Experiments on both indoor and outdoor datasets show that (1) our method obtains high-quality 2D and 3D pseudo-labels from multi-view RGB-D data; (2) fine-tuning with these pseudo-labels improves the 2D detector significantly in the test environment; (3) training a 3D detector with our pseudo-labels outperforms a prior self-supervised method by a large margin; (4) given weak supervision, our method can generate better pseudo-labels for novel objects.

研究の動機と目的

• 人為的アノテーションが不要な状態で、実世界のテスト環境においてエマーブドエージェントがオブジェクト検出を向上させることを可能にすること。
• 自己教師あり学習を用いて、マルチビューRGB-D観測から高品質な2Dおよび3D偽ラベルを生成すること。
• 能動的移動と視点集約が、静的データ収集を上回る検出性能向上に寄与することを示すこと。
• 1つのアノテート済みビューのみを用いても、新規オブジェクトカテゴリの弱教師あり学習を可能にすること。
• 既存の自己教師あり3D検出手法を上回りつつ、完全教師ありベースラインに近い性能を達成すること。

提案手法

• エージェントはランダムな探索によりRGB-Dデータを収集し、検出されたオブジェクトの多様な視点に至る経路を計画する。
• 集約されたRGB-Dデータ上で3Dインスタンスセグメンテーションを実行し、3Dマスクを再投影することで、すべての視点にわたる2D偽ラベルを生成する。
• 事前学習済み2D検出器を、生成された偽ラベルを用いて自己教師ありの方法で微調整する。
• 弱教師あり学習では、オブジェクト1つあたり1つのビューにのみ真値2Dアノテーションが提供され、これが複数の視点にわたってラベル品質の向上を目的として伝搬される。
• 物体の不変性と視点の一貫性を活用して、信頼性の高い検出結果を視点間で伝搬する。
• 近似エゴモーション推定値を用いてマルチビュー観測を整合化し、3D再構築およびセグメンテーションの正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エマーブドエージェントは、事前学習済み検出器、深度センサ、自己教師あり学習のみを用いて、テスト環境での2Dオブジェクト検出性能を向上させることができるか？
• RQ2 人為的アノテーションなしで、マルチビューRGB-Dデータを用いて高品質な2Dおよび3D偽ラベルを生成できるか？
• RQ3 提案手法を用いた自己教師あり3D検出は、既存の自己教師あり3D検出ベースラインを上回るか？
• RQ4 弱教師あり学習（例：1つのアノテート済みビュー）が提供された場合、新規オブジェクトカテゴリのためのより良い偽ラベルを生成できるか？
• RQ5 本手法は、実世界環境における現実的なアクチュエータノイズや困難な視点に対しても、どれほど頑健か？

主な発見

• マルチビューRGB-Dデータから高品質な2Dおよび3D偽ラベルを生成し、屋内および屋外のデータセットにおいて2D検出器の性能を顕著に向上させた。
• 生成された偽ラベルを用いた2D検出器の微調整により、追加のアノテーションなしでテスト環境における性能が著しく向上した。
• SbMが生成した偽ラベルで学習した自己教師あり3D検出器は、CARLAテストセットにおいて、最先端の自己教師あり手法LDLSを39.84 mAP@0.25の差で上回った。
• SbM偽ラベルで学習した3D検出器は83.87 mAP@0.25を達成し、完全教師ありモデル（85.06 mAP@0.25）と1.19ポイント以内の差に収まった。
• 弱教師あり学習（1オブジェクトあたり1ビューのアノテーション）を適用した場合、SbM-ws偽ラベルで学習した検出器は、同じ限られた真値データで微調整された検出器を上回り、有効なデータ拡張が実現した。
• 本手法は、COCOに含まれない新規カテゴリ（例：Cushion, Nightstand）に対しても、1つのアノテート済みビューのみを用いても検出器を学習でき、未学習のオブジェクトクラスへの強力な一般化能力を示した。