[論文レビュー] Learning from Unlabelled Videos Using Contrastive Predictive Neural 3D Mapping

Adam W. Harley, Shrinidhi Kowshika Lakshmikanth+4 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Vision and Imaging被引用数 8

ひとこと要約

本論文は、自己教師付きRGB-D動画から未ラベル付きの視点予測を対照的予測損失を用いて行うことで、3次元視覚的表現を学ぶ自己教師付きニューラル3次元マッピングフレームワークを提案する。エゴモーションに対して安定化された3次元特徴マップと対照的学習を用いることで、半教師あり3次元オブジェクト検出の性能が向上し、教師なし3次元動的オブジェクト検出が可能となり、複雑なフォトリッチなデータにおいて回帰法やVAEベースのベースラインを上回る性能を発揮する。

ABSTRACT

Predictive coding theories suggest that the brain learns by predicting observations at various levels of abstraction. One of the most basic prediction tasks is view prediction: how would a given scene look from an alternative viewpoint? Humans excel at this task. Our ability to imagine and fill in missing information is tightly coupled with perception: we feel as if we see the world in 3 dimensions, while in fact, information from only the front surface of the world hits our retinas. This paper explores the role of view prediction in the development of 3D visual recognition. We propose neural 3D mapping networks, which take as input 2.5D (color and depth) video streams captured by a moving camera, and lift them to stable 3D feature maps of the scene, by disentangling the scene content from the motion of the camera. The model also projects its 3D feature maps to novel viewpoints, to predict and match against target views. We propose contrastive prediction losses to replace the standard color regression loss, and show that this leads to better performance on complex photorealistic data. We show that the proposed model learns visual representations useful for (1) semi-supervised learning of 3D object detectors, and (2) unsupervised learning of 3D moving object detectors, by estimating the motion of the inferred 3D feature maps in videos of dynamic scenes. To the best of our knowledge, this is the first work that empirically shows view prediction to be a scalable self-supervised task beneficial to 3D object detection.

研究の動機と目的

• 視点予測を対照的学習で行うことで、3次元視覚認識のスケーラブルな自己教師付き事前学習目的として有効であるかを調査すること。
• カメラの動きからシーンの内容を分離するニューラル3次元マッピングネットワークを構築し、2.5次元動画入力から安定した3次元特徴マップを生成すること。
• 学習された表現を下流タスク（半教師あり3次元オブジェクト検出および教師なし3次元動的オブジェクト検出）で評価すること。
• シミュレーションから得た3次元表現が現実世界のデータにどのように転送可能かを実証すること。

提案手法

• モデルは、エゴモーションに安定した微分可能な特徴投影機構を用いて更新される3次元特徴ボリュームを中央メモリとして使用する。
• 監視付きCNNヘッドを用いてカメラのエゴモーションを推定し、ネットワークがカメラ移動に対しても3次元特徴を安定化させられるようにする。
• 3次元特徴マップを別の視点に投影し、その予測結果と真値のターゲット視点を比較することで、新しい視点を予測する。
• 標準的なRGB回帰の代わりに、予測視点特徴とターゲット視点特徴の間の対照的損失（contrastive loss）を採用する。
• エゴモーション推定と視点予測を含むパイプライン全体をバックプロパゲーションでエンドツーエンドに訓練する。
• 教師なし3次元動的オブジェクト検出のため、連続する3次元特徴ボリューム間の3次元モーショントラックを推定し、モーションをオブジェクトインスタンスにクラスタリングする。

実験結果

リサーチクエスチョン

• RQ1 未ラベル付きRGB-D動画上で対照的視点予測は、標準的なRGB回帰やVAEベースの手法よりも優れた3次元視覚的表現を生み出せるか？
• RQ2 エゴモーションに安定した3次元特徴マップは、遮蔽の背後にある正確な3次元シーン再構築と補完を可能にするか？
• RQ3 視点対照的予測による事前学習は、ラベルが限られた状況下でも半教師あり3次元オブジェクト検出の性能を向上させるか？
• RQ4 人為的なバウンディングボックスが一切不要な状況でも、3次元特徴空間におけるモーションのみを用いて動的オブジェクトを検出できるか？
• RQ5 シミュレーションで学習した3次元表現は、現実世界の3次元オブジェクト検出に一般化可能か？

主な発見

• 対照的予測損失は、半教師あり3次元オブジェクト検出において、RGB回帰やVAEベースのベースラインを上回り、特にラベルが少ない状況下で顕著な性能向上を示した。
• 空間の種類に関係なく、すべての空間タイプで占有状態分類の精度が98%に達し、効果的な3次元シーン補完と表現学習が実現された。
• エゴモーション推定誤差は、最先端のSLAMおよびCNNベースのベースラインと同等であり、回転誤差は0.120 rad、並進誤差は0.036 mであった。
• 3次元モーションフィールドのクラスタリングにより、教師なし3次元動的オブジェクト検出が可能となり、2.5次元ベースラインや反復的VAEを上回った。
• シミュレーションでの視点対照的事前学習は、現実世界のデータにおける3次元オブジェクト検出性能を顕著に向上させ、強力な転移性を示した。