[論文レビュー] Learning Independent Object Motion from Unlabelled Stereoscopic Videos

Zhe Cao, Abhishek Kar+2 more|arXiv (Cornell University)|Jan 7, 2019

Advanced Vision and Imaging参考文献 47被引用数 7

ひとこと要約

本論文は、ラベルなしステレオ動画シーケンスから、2次元オブジェクトバウンディングボックスを弱い監督としてのみ活用することで、3Dシーンフローと深度を予測する自己教師付きディープラーニングフレームワークを提案する。手法は平面スイープボリュームとインスタンスに特化した幾何的一致損失を用い、深度、オブジェクトごとの3次元運動、インスタンスマスクを同時に推定し、深度、オプティカルフロー、シーンフローのKITTIBenchmarkにおいて、真値の運動または深度ラベルが一切不要な状態で最先端の性能を達成する。

ABSTRACT

We present a system for learning motion of independently moving objects from stereo videos. The only human annotation used in our system are 2D object bounding boxes which introduce the notion of objects to our system. Unlike prior learning based work which has focused on predicting dense pixel-wise optical flow field and/or a depth map for each image, we propose to predict object instance specific 3D scene flow maps and instance masks from which we are able to derive the motion direction and speed for each object instance. Our network takes the 3D geometry of the problem into account which allows it to correlate the input images. We present experiments evaluating the accuracy of our 3D flow vectors, as well as depth maps and projected 2D optical flow where our jointly learned system outperforms earlier approaches trained for each task independently.

研究の動機と目的

• 密な監督なしに、ラベルなしステレオ動画シーケンスから独立した3次元オブジェクトの運動と深度を学習すること。
• 2次元オブジェクトバウンディングボックスを弱い監督として用いることで、正確な3次元シーンフローと深度予測を可能にすること。
• 3次元構造を平面スイープボリュームを介して符号化する幾何的に注意を払ったネットワークアーキテクチャを設計し、より良いシーン推論を実現すること。
• 画像の一貫性を主な学習信号として用い、深度、3次元シーンフロー、インスタンスセグメンテーションを同時に最適化すること。
• 同時に学習させることで、独立して学習する場合と比較して、サブタスク（深度、フロー、インスタンスセグメンテーション）全体の性能が向上することを実証すること。

提案手法

• ネットワークは、ステレオ画像ペアを平面スイープボリュームを用いて処理し、視点間および時間的における3次元幾何的関係を符号化する。
• オフザシェルフの検出器からのオブジェクトレベルの監督を用い、1回の順伝播でインスタンス固有の3次元シーンフロー、深度マップ、インスタンスマスクを予測する。
• オブジェクト候補（RoI）ごとに新しい一貫性損失を適用する：予測されたフローと深度から合成された画像パッチを、元の入力パッチと比較することで幾何的一致性を強制する。
• ステレオ再投影損失を用いて深度予測を監督する。歪められた画像が元の入力と一致することを保証する。
• U-Netアーキテクチャを用いた別個のリファインメントネットワークを導入し、歪められた画像とフローの修正によってオプティカルフロー予測を改善する。
• 画像再構成損失とバウンディングボックスからの弱いインスタンスレベルの監督のみを用いて、システム全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 2次元オブジェクトバウンディングボックスを弱い監督として用いることで、ラベルなしステレオ動画から3次元シーンフローと深度を正確に予測できるか？
• RQ2 深度、3次元フロー、インスタンスセグメンテーションを同時に学習することで、独立して学習する場合と比較して、すべてのサブタスクの性能が向上するか？
• RQ3 オブジェクト候補ごとに適用される幾何的一致性損失は、インスタンス固有の3次元運動予測を効果的に監督できるか？
• RQ4 本手法は、KITTIBenchmarkにおける深度、オプティカルフロー、シーンフローの分野で、自己教師付きおよび教師ありベースラインと比較してどのように性能を発揮するか？
• RQ5 本モデルは、合成データや密なアノテーションに依存せずに、実世界の動的シーンに一般化可能か？

主な発見

• KITTI 2015ステレオトレーニングセットにおいて、テスト時の深度誤差（RMSE）は3.896を達成し、他の自己教師付きおよび古典的手法を上回る性能を示した。
• KITTI 2015フローベンチマークでは、全領域で平均エンドポイント誤差（EPE）が5.39、非隠蔽領域で4.97を記録し、他の自己教師付き手法を上回った。
• インスタンスレベルのIoUは0.655、画像レベルのIoUは0.782に向上し、正確な移動物体の検出とセグメンテーションを実現した。
• 3次元フローを2次元に投影した場合、自己教師付き手法の中で最も低いEPEを達成し、リファインメント版では全領域で5.13のEPEを達成した。
• アブレーションスタディにより、RoI一貫性損失を削除すると性能が低下することが確認され、その監督的役割の重要性が裏付けられた。
• 幾何的一致性損失を用いた同時学習は、各タスクを独立して学習する場合と比較して、深度、フロー、インスタンスセグメンテーションのすべてのタスクでより優れた性能を発揮した。