[論文レビュー] Embodied View-Contrastive 3D Feature Learning.

Adam W. Harley, Fangyu Li+4 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Vision and Imaging被引用数 2

ひとこと要約

本論文は、3D視覚認識の向上を目的として、視点対照予測を用いた自己教師付き3D特徴学習フレームワークを提案する。移動するカメラの動画ストリームを活用することで、モデルはシーンの内容をカメラの動きから分離し、3D特徴を新たな視点に投影し、対照的損失を用いて頑健な表現を学習する—半教師ありおよび教師なし3D物体検出において最先端の性能を達成する。

ABSTRACT

Predictive coding theories suggest that the brain learns by predicting observations at various levels of abstraction. One of the most basic prediction tasks is view prediction: how would a given scene look from an alternative viewpoint? Humans excel at this task. Our ability to imagine and fill in missing information is tightly coupled with perception: we feel as if we see the world in 3 dimensions, while in fact, information from only the front surface of the world hits our retinas. This paper explores the role of view prediction in the development of 3D visual recognition. We propose neural 3D mapping networks, which take as input 2.5D (color and depth) video streams captured by a moving camera, and lift them to stable 3D feature maps of the scene, by disentangling the scene content from the motion of the camera. The model also projects its 3D feature maps to novel viewpoints, to predict and match against target views. We propose contrastive prediction losses to replace the standard color regression loss, and show that this leads to better performance on complex photorealistic data. We show that the proposed model learns visual representations useful for (1) semi-supervised learning of 3D object detectors, and (2) unsupervised learning of 3D moving object detectors, by estimating the motion of the inferred 3D feature maps in videos of dynamic scenes. To the best of our knowledge, this is the first work that empirically shows view prediction to be a scalable self-supervised task beneficial to 3D object detection.

研究の動機と目的

• 視点予測が3D視覚認識のスケーラブルな自己教師付き事前学習タスクとして機能するかどうかを調査すること。
• 2.5次元動画ストリーム（カラーと深度）におけるシーンの内容とカメラの動きを分離するニューラル3Dマッピングネットワークを構築すること。
• 標準的なカラー回帰の代わりに対照的予測損失を用いることで、3D特徴表現学習を改善すること。
• 得られた特徴を、半教師あり3D物体検出や教師なし3D移動物体検出などの後続タスクで評価すること。

提案手法

• モデルは移動するカメラからの単眼2.5次元動画ストリーム（RGBと深度）を入力として受ける。
• ニューラル3Dマッピングネットワークを用いて、静的シーンの内容と動的カメラの動きを分離することで、3D特徴マップを予測する。
• 学習された3D特徴を新たな視点に投影し、対照的予測損失を用いて真値のターゲットビューと比較する。
• 標準的なピixe単位のカラー回帰の代わりに対照的損失を用いることで、識別性が高く汎用性のある特徴学習を促進する。
• 複雑なフォトリッチェスなデータにおける特徴品質の向上を図るため、対照的予測目的を用いてエンドツーエンドでネットワークを訓練する。
• 動的シーンにおける運動推定は、3D特徴マップの時間的変化を分析することで実現し、移動物体の教師なし検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視点予測は3D視覚認識のためのスケーラブルな自己教師付き事前学習タスクとして機能するか？
• RQ2 新たな視点の対照的予測は、標準的なカラー回帰よりも優れた3D特徴表現をもたらすか？
• RQ3 学習された3D特徴は、半教師あり3D物体検出の性能を向上させるか？
• RQ4 3D特徴マップの運動を分析することで、教師なしで3Dシーンにおける移動物体を検出できるか？

主な発見

• 提案された視点対照的学習アプローチは、フォトリッチェスなデータにおいて、標準的なカラー回帰損失よりも頑健な3D視覚表現を学習することに成功した。
• 自己教師付き事前学習を活用することで、半教師あり3D物体検出において最先端の性能を達成した。
• 3D特徴マップからの運動推定により、教師なし3D移動物体検出が可能となり、学習された表現の実用性を示した。
• シーンの内容とカメラの動きの分離により、単眼動画ストリームからの安定した3D特徴マップの構築が可能になった。
• 対照的予測損失は、回帰ベースの教師付き学習に比べ、より識別性が高く汎用性のある特徴をもたらした。
• 本フレームワークは、視点予測が3D物体検出にスケーラブルで有益な自己教師付きタスクであることを、実証的に初めて示した。