[論文レビュー] Unsupervised Joint Learning of Depth, Optical Flow, Ego-motion from Video

Jianfeng Li, Junqiao Zhao+2 more|arXiv (Cornell University)|May 30, 2021

Advanced Vision and Imaging参考文献 19被引用数 4

ひとこと要約

本論文は、ビデオから深度、オプティカルフロー、カメラポーズを同時に推定する自己教師付きフレームワークを提案し、注目メカニズムに基づくポーズネットワーク、動的オブジェクトマスキング、エピポーラ幾何制約を用いて精度を向上させている。KITTIベンチマークにおいて最先端の性能を達成しており、特にオプティカルフローとポーズ推定で顕著な結果を示し、深度推定についても競争力のある結果を得ている。

ABSTRACT

Estimating geometric elements such as depth, camera motion, and optical flow from images is an important part of the robot's visual perception. We use a joint self-supervised method to estimate the three geometric elements. Depth network, optical flow network and camera motion network are independent of each other but are jointly optimized during training phase. Compared with independent training, joint training can make full use of the geometric relationship between geometric elements and provide dynamic and static information of the scene. In this paper, we improve the joint self-supervision method from three aspects: network structure, dynamic object segmentation, and geometric constraints. In terms of network structure, we apply the attention mechanism to the camera motion network, which helps to take advantage of the similarity of camera movement between frames. And according to attention mechanism in Transformer, we propose a plug-and-play convolutional attention module. In terms of dynamic object, according to the different influences of dynamic objects in the optical flow self-supervised framework and the depth-pose self-supervised framework, we propose a threshold algorithm to detect dynamic regions, and mask that in the loss function respectively. In terms of geometric constraints, we use traditional methods to estimate the fundamental matrix from the corresponding points to constrain the camera motion network. We demonstrate the effectiveness of our method on the KITTI dataset. Compared with other joint self-supervised methods, our method achieves state-of-the-art performance in the estimation of pose and optical flow, and the depth estimation has also achieved competitive results. Code will be available https://github.com/jianfenglihg/Unsupervised_geometry.

研究の動機と目的

• モノクローラルビデオから教師なしの状態で深度、オプティカルフロー、カメラポーズを推定する課題に対処すること。
• 深度、フロー、ポーズの間の幾何的関係を活用し、連携された自己教師付き学習によって一般化性能と精度を向上させること。
• 従来の自己教師付き手法の限界を補うために、動的オブジェクト処理、注目メカニズム、幾何的制約を組み込むこと。
• ビデオフレーム間の時間的運動類似性をモデル化することで、ポーズ推定のロバスト性を向上させること。
• エピポーラ幾何を用いた強力な幾何制約を導入することで、ポーズからフローへの誤差伝搬を低減すること。

提案手法

• カメラの運動の時間的類似性を活用できる、プラグアンドプレイ式の畳み込み注目モジュールをポーズネットワークに導入する。
• しきい値に基づく動的領域検出法を提案し、深度-ポーズおよびオプティカルフローの自己教師付き学習における損失関数で動的領域をマスキングする。
• フロー推定の精度を向上させるために、前向きおよび後向きのオプティカルフロー整合性制約を適用する。
• 8点アルゴリズムを用いてエピポーラ幾何を組み込み、オプティカルフローと推定されたカメラポーズの幾何的整合性を強制する。
• 画像の再構築損失をワープを用いて適用し、教師なしの訓練を可能にする。
• 一貫性および幾何的制約を強化することで自己教師付きの監視を向上させる、マルチタスク損失を用いて深度、オプティカルフロー、ポーズネットワークを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、フレーム間の運動連続性をモデル化することで、自己教師付きカメラポーズ推定の精度を向上させることができるか？
• RQ2 動的オブジェクトは、深度およびフロー推定の誤差を低減するために、効果的に検出され、監視から除外できるか？
• RQ3 エピポーラ幾何制約は、自己教師付き設定においてオプティカルフローとポーズ推定の整合性を向上させることができるか？
• RQ4 幾何的制約および一貫性制約を組み合わせた連携自己教師付き学習は、独立または単純な連携学習よりも優れた性能を発揮するか？
• RQ5 本手法は、KITTIなどの標準ベンチマークにおいて、既存の最先端の自己教師付き手法をどの程度上回るか？

主な発見

• 提案手法は、KITTI 2015のオプティカルフロー推定で最先端の性能を達成し、'all'スプリットで5.66%の誤差率、'bg'スプリットで18.57%の誤差率を示した。
• 注目モジュールの導入により、ベースラインおよび先行の連携手法と比較して、ポーズ推定の性能が顕著に向上した。
• クロスタスクの一貫性損失（$L_c^{df}$）と幾何的制約（$L_g$）の追加により、深度推定がさらに向上し、KITTI Eigenスプリットで絶対相対誤差が0.138まで低下した。
• オプティカルフローおよびポーズ推定において、GLNetや他の連携自己教師付きベースラインを上回った。特に、オクルージョンや運動誤差の処理において優れた性能を示した。
• 定性的な結果から、複雑なシーンでも正確な深度予測が可能であり、テクスチャの変動や運動に強く、ロバストであることが可視化で確認された。
• アブレーションスタディにより、注目、動的マスキング、幾何的制約の各コンポーネントが、性能向上に段階的に寄与していることが確認された。