[論文レビュー] M4Depth: A motion-based approach for monocular depth estimation on video sequences.

Michaël Fonder, Damien Ernst+1 more|arXiv (Cornell University)|May 20, 2021

Advanced Vision and Imaging参考文献 30被引用数 6

ひとこと要約

M4Depthは、RGB動画と搭載された運動データを用いてドローン向けの動き補正付き単眼深度推定手法を提案する。ピラミッド型畳み込みニューラルネットワークを用い、時間的再帰性と幾何的制約を組み合わせることで、空間的・時間的に一貫性のある正確な深度マップを生成し、運動情報の活用によって最先端の手法を上回る性能を達成した。

ABSTRACT

Getting the distance to objects is crucial for autonomous vehicles. In instances where depth sensors cannot be used, this distance has to be estimated from RGB cameras. As opposed to cars, the task of estimating depth from on-board mounted cameras is made complex on drones because of the lack of constrains on motion during flights. In this paper, we present a method to estimate the distance of objects seen by an on-board mounted camera by using its RGB video stream and drone motion information. Our method is built upon a pyramidal convolutional neural network architecture and uses time recurrence in pair with geometric constraints imposed by motion to produce pixel-wise depth maps. In our architecture, each level of the pyramid is designed to produce its own depth estimate based on past observations and information provided by the previous level in the pyramid. We introduce a spatial reprojection layer to maintain the spatio-temporal consistency of the data between the levels. We analyse the performance of our approach on Mid-Air, a public drone dataset featuring synthetic drone trajectories recorded in a wide variety of unstructured outdoor environments. Our experiments show that our network outperforms state-of-the-art depth estimation methods and that the use of motion information is the main contributing factor for this improvement. The code of our method is publicly available on GitHub; see this https URL

研究の動機と目的

• 深度センサが利用できない状況や運動が制約のないドローンにおける正確な深度推定の課題に対処すること。
• 搭載されたRGB動画と運動データを用いて、非構造的で屋外の環境における単眼深度推定を改善すること。
• 動画フレーム間で空間的・時間的に一貫性を持つ深度推定フレームワークを構築すること。
• ドローン動画シーケンスにおける運動情報の深度推定性能への寄与を評価すること。
• 航空ロボティクス分野における公開可能で最先端の単眼深度推定ソリューションを提供すること。

提案手法

• 各レベルが過去の観測値と前段のレベルからの特徴を基に深度推定値を生成するピラミッド型畳み込みニューラルネットワークを採用する。
• 時間的再帰性を組み込むことで、順次的な動画データを活用し、時間経過に伴って深度推定を向上させる。
• ドローンの運動から導出される幾何的制約を適用し、連続するフレーム間の整合性を保証する。
• ピラミッドの各レベル間で空間的整合性を維持するために、空間再投影レイヤーを導入する。
• Mid-Airデータセットの合成ドローン軌道上で、エンドツーエンドにネットワークを訓練する。
• RGB動画と運動データを融合させることで、従来の動画のみに依存する手法よりも深度マップの精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドローンの運動データを統合することで、制約のない空飛ぶ環境における単眼深度推定はどの程度向上するか？
• RQ2 時間的再帰性と幾何的制約は、深度マップの精度と一貫性をどの程度向上させるか？
• RQ3 本手法は、ドローン動画シーケンスにおける最先端の単眼深度推定技術と比較して、どのように差をつけるか？
• RQ4 運動情報と視覚的外観の両者が、深度推定性能に果たす寄与度はそれぞれどの程度か？
• RQ5 階層間の特徴精錬を備えたピラミッド型アーキテクチャは、標準的な単一スケールネットワークと比較して、より正確な深度マップを生成できるか？

主な発見

• M4Depthは、Mid-Airドローンデータセットにおいて、既存の最先端の単眼深度推定手法を上回った。
• 運動情報の統合が深度推定精度を顕著に向上させ、本手法の成功においてその重要性が示された。
• 空間再投影レイヤーは、ピラミッドの各レベルおよび動画フレーム間で空間的・時間的一致性を効果的に維持した。
• 本手法は、合成されたMid-Airデータセットにおける多様な非構造的屋外環境でも、安定した深度推定を達成した。
• 時間的モデリングとドローンの運動から導出された幾何的制約のおかげで、ネットワークの性能が向上した。
• M4DepthのコードはGitHubで公開されており、再現性の確保とさらなる研究の促進に貢献している。