[論文レビュー] Towards Real-Time Monocular Depth Estimation for Robotics: A Survey

Xingshuai Dong, Matthew Garratt+2 more|arXiv (Cornell University)|Nov 16, 2021

Advanced Vision and Imaging参考文献 185被引用数 6

ひとこと要約

本調査は、1970年から2021年までのロボティクス分野における単眼深度推定（MDE）手法について、構造から運動（SfM）、手作業特徴抽出、深層学習ベースの手法を網羅的にレビューする。性能評価指標、データセット、オープンソース実装、自己移動、障害物回避、シーン理解への応用を評価し、リアルタイム効率性、ドメイン適応、解釈可能性といった今後の主な方向性を特定する。

ABSTRACT

As an essential component for many autonomous driving and robotic activities such as ego-motion estimation, obstacle avoidance and scene understanding, monocular depth estimation (MDE) has attracted great attention from the computer vision and robotics communities. Over the past decades, a large number of methods have been developed. To the best of our knowledge, however, there is not a comprehensive survey of MDE. This paper aims to bridge this gap by reviewing 197 relevant articles published between 1970 and 2021. In particular, we provide a comprehensive survey of MDE covering various methods, introduce the popular performance evaluation metrics and summarize publically available datasets. We also summarize available open-source implementations of some representative methods and compare their performances. Furthermore, we review the application of MDE in some important robotic tasks. Finally, we conclude this paper by presenting some promising directions for future research. This survey is expected to assist readers to navigate this research field.

研究の動機と目的

• 1970年から2021年までの単眼深度推定（MDE）手法を、ロボティクス応用に焦点を当て、包括的かつ最新の調査を提供すること。
• ステレオ法やマルチビュー法とは別個に、単眼深度推定に特化した包括的調査が不足しているという問題を解決すること。
• 42の代表的MDE手法を、精度、誤差、推論速度の指標で評価・比較すること。
• 自己移動推定、障害物回避、シーン理解といった主なロボットタスクにおけるMDEの応用をレビューすること。
• リアルタイム性能、ドメイン適応、半教師あり学習、深層ネットワークの解釈可能性といった、新たな研究方向性を特定・議論すること。

提案手法

• 1970年から2021年までに発表された197編の査読済み論文を、単眼深度推定に焦点を当てて体系的にレビューした。
• MDE手法を3つの主要カテゴリに分類した：構造から運動（SfM）ベース、従来の手作業特徴ベース、深層学習ベースの手法。
• Mean Absolute Error（MAE）、Mean Squared Error（MSE）、Inverse Depth Error（IDE）といった標準指標を用いて性能を評価し、複数のベンチマークデータセットを通じて結果を報告した。
• Kitti、NYU Depth v2、Cityscapes、ScanNetなどの公開済みデータセットおよび主要モデルのオープンソース実装を収集・要約した。
• 事例研究を通じて、MDEのロボティクス分野における統合状況をレビューした。具体的には、自己移動推定、障害物回避、シーン理解への応用を対象とした。
• モデルの効率性と精度の比較分析を実施し、モバイルロボットプラットフォーム上でのリアルタイム推論と予測品質のトレードオフに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 SfMおよび手作業特徴抽出から深層学習ベースの手法に移行するにあたり、単眼深度推定における主な技術的進化と性能トレンドは何か？
• RQ2 現在のMDE手法は、リソース制約のあるモバイルロボットプラットフォームへの実装を考慮して、精度とリアルタイム推論性能のバランスをどのようにとっているか？
• RQ3 異なる環境や応用分野においてMDE手法を比較するにあたり、最も効果的な評価指標とベンチマークデータセットは何か？
• RQ4 単眼深度推定は、自己移動推定、障害物回避、シーン理解という分野において、ロボットの能力をどのように向上させるか？
• RQ5 ドメイン適応、半教師あり学習、モデルの解釈性といった分野において、MDEをさらに発展させるにあたり、最も有望な今後の研究方向性は何か？

主な発見

• 深層学習ベースのMDE手法は、多様なシーンにおいて、従来のSfMおよび手作業特徴抽出ベースの手法に比べ、精度と頑健性の面で顕著に優れている。
• 高い精度を達成しているものの、最先端の深層学習モデルはしばしば高い計算コストを伴い、リソース制約のあるロボットプラットフォームへの実装を制限している。
• リアルタイムMDE手法は存在するが、非リアルタイム手法に比べて精度が低く、速度と精度の間の継続的なトレードオフが顕在化している。
• Kitti、NYU Depth v2、Cityscapesといった公開データセットは、依然として多様性に欠けている。特に動的シーン、隠蔽、極端な照明や天候条件の処理が困難である。
• 半教師あり学習およびドメイン適応技術は、高価な真値データへの依存を低減する上で強く有望な可能性を示しており、特に合成データと現実世界データの統合に有効である。
• 深層MDEネットワークの解釈性は未だ十分に検討されておらず、ネットワークが学習する特徴や表現の分析を行った研究は少数にとどまり、重要な研究ギャップが存在する。