[論文レビュー] Move to See Better: Towards Self-Supervised Amodal Object Detection.

Zhaoyuan Fang, Ayush Jain+3 more|arXiv (Cornell University)|Nov 30, 2020

Advanced Neural Network Applications参考文献 41被引用数 6

ひとこと要約

本論文は、移動するエージェントが3次元環境で取得するマルチビューRGB-Dデータを活用することで、未学習のシーンにおける2次元オブジェクト検出器の性能を向上させる自己教師付きフレームワークを提案する。自信のある2次元検出を再投影し、非教師付き3次元セグメンテーションを実行し、再び投影して偽ラベルを生成することで、人間のアノテーションを一切用いずに検出器の性能を著しく向上させ、屋内および屋外のデータセットにおいて先行する自己教師付き手法を上回る性能を示した。

ABSTRACT

Humans learn to better understand the world by moving around their environment to get more informative viewpoints of the scene. Most methods for 2D visual recognition tasks such as object detection and segmentation treat images of the same scene as individual samples and do not exploit object permanence in multiple views. Generalization to novel scenes and views thus requires additional training with lots of human annotations. In this paper, we propose a self-supervised framework to improve an object detector in unseen scenarios by moving an agent around in a 3D environment and aggregating multi-view RGB-D information. We unproject confident 2D object detections from the pre-trained detector and perform unsupervised 3D segmentation on the point cloud. The segmented 3D objects are then re-projected to all other views to obtain pseudo-labels for fine-tuning. Experiments on both indoor and outdoor datasets show that (1) our framework performs high-quality 3D segmentation from raw RGB-D data and a pre-trained 2D detector; (2) fine-tuning with self-supervision improves the 2D detector significantly where an unseen RGB image is given as input at test time; (3) training a 3D detector with self-supervision outperforms a comparable self-supervised method by a large margin.

研究の動機と目的

• 人的なアノテーションを大幅に必要とせずに、2次元オブジェクト検出器の一般化性能を新規のシーンや視点にまで拡張すること。
• シーンを独立した画像ではなく、複数の視点から構成されるシーケンスとして扱い、オブジェクトの恒常性を活用することで、複数の視点からの情報を利用すること。
• 3次元幾何学的構造とマルチビューの一貫性を活用して高品質な偽ラベルを生成する自己教師付きフレームワークを開発すること。
• 自己教師付き3次元セグメンテーションと偽ラベル生成が、未学習のシナリオにおける2次元オブジェクト検出性能を著しく向上させることを実証すること。

提案手法

• フレームワークは、3次元環境で移動するエージェントが取得したRGB-D画像に対して事前学習済みの2次元オブジェクト検出器を用いて、信頼性の高い検出結果を生成する。
• 信頼性の高い2次元検出結果を深度情報を利用して3次元空間に再投影し、初期の3次元オブジェクト候補を形成する。
• 点群に対して非教師付き3次元セグメンテーションを実行し、再投影された検出結果を統合して一貫性のある3次元オブジェクトに refining する。
• セグメンテーションされた3次元オブジェクトを他のすべての視点に再投影し、自己教師付き微調整用の一貫性のある偽ラベルを生成する。
• マルチビューの一貫性を活用することで、自己教師付き微調整プロセスが検出器のロバスト性と未学習のシーンへの一般化性能を向上させる。
• 生成された偽ラベルを用いて3次元検出器を学習し、既存の自己教師付き手法と比較して最先端の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 移動エージェントが取得するマルチビューRGB-Dデータは、人的なアノテーションを一切用いずに、未学習のシーンにおける2次元検出器の一般化性能を向上させることができるか？
• RQ2 再投影された2次元検出結果に対する非教師付き3次元セグメンテーションは、自己教師学習に適した高品質な偽ラベルを効果的に生成できるか？
• RQ3 マルチビューの偽ラベルを用いた自己教師付き微調整は、未学習のRGB画像に対する2次元オブジェクト検出性能をどの程度向上させるか？
• RQ4 3次元セグメンテーションの品質と検出器の精度の観点から、本手法は既存の自己教師付き手法と比較してどの程度優れているか？
• RQ5 本フレームワークは、最小限の監視情報で多様な屋内および屋外環境に一般化可能か？

主な発見

• 提案されたフレームワークは、生のRGB-Dデータと事前学習済み2次元検出器から高品質な3次元セグメンテーションを実現し、監視なしで強力な幾何的推論能力を示した。
• 未学習のRGB画像に対してテストした際、自己教師付き微調整が2次元オブジェクト検出器の性能を著しく向上させ、新規の視点への一般化能力が顕著に向上した。
• 3次元検出の観点から、同等の自己教師付きベースラインと比較して本手法が優れていることを示し、3次元セグメンテーションを介したマルチビュー偽ラベル生成の有効性を裏付けた。
• 屋内および屋外のデータセットにわたり良好な一般化性能を示し、ドメインシフトに対して高いロバスト性を確認した。
• 複数の視点におけるオブジェクトの恒常性を活用することで、一貫性のある偽ラベル生成が可能となり、人的アノテーションなしで検出器の精度が向上した。