[論文レビュー] Monocular Depth Estimation: A Survey

Amlaan Bhoi|arXiv (Cornell University)|Jan 27, 2019

Advanced Vision and Imaging参考文献 16被引用数 87

ひとこと要約

単眼深度推定法を five 件検討した調査で、監視付き、弱教師あり、無監視の手法と、それらの multi-scale、CRF ベース、ordinal regression アプローチ、データセット評価と傾向分析を含む。

ABSTRACT

Monocular depth estimation is often described as an ill-posed and inherently ambiguous problem. Estimating depth from 2D images is a crucial step in scene reconstruction, 3Dobject recognition, segmentation, and detection. The problem can be framed as: given a single RGB image as input, predict a dense depth map for each pixel. This problem is worsened by the fact that most scenes have large texture and structural variations, object occlusions, and rich geometric detailing. All these factors contribute to difficulty in accurate depth estimation. In this paper, we review five papers that attempt to solve the depth estimation problem with various techniques including supervised, weakly-supervised, and unsupervised learning techniques. We then compare these papers and understand the improvements made over one another. Finally, we explore potential improvements that can aid to better solve this problem.

研究の動機と目的

• 単眼深度推定（MDE）を、単一のRGB画像からの dense ピクセル単位深度予測として動機付け・定義する。
• 監視あり、弱教師あり、無監督のパラダイムにまたがる五つの代表的な MDE アプローチを要約する。
• アーキテクチャ、損失、統合戦略（マルチスケール特徴、CRF、アテンション、序数回帰）を比較する。
• データセット、性能トレンド、および改善の潜在的な道筋を強調する。

提案手法

• 初期のマルチスケール深層ネットワークからマルチスケール CRF および連鎖的 CRF への進化を説明する。
• scale-invariant loss（スケール不変損失）と、それがスケールの曖昧さをどう減らすかを説明する。
• マルチスケール融合と逐次的深層ネットワークの連続 CRF 形式を概説する。
• 特徴融合のための構造化アテンション機構と、SID ベースの序数回帰アプローチを要約する。
• ステレオ対を用いた自己教師付き左-右一貫性学習と、画像再構成損失を提示する。

実験結果

リサーチクエスチョン

• RQ1 監視あり、弱教師あり、無監督設定全体で、単眼深度推定を可能にする中核技術は何か。
• RQ2 マルチスケール特徴、CRF、アテンション機構は深度予測精度にどのように影響するか。
• RQ3 深度予測を回帰、連続 CRF、序数回帰として扱う利点と制限は何か。
• RQ4 NYU Depth V2 や KITTI のようなデータセットは、方法横断の比較・ベンチマークをどう支えるのか。
• RQ5 精度と一般化を向上させる将来の方向性は何か。

主な発見

Method	rel	log10	rms	delta<1.25	delta<1.25^2	delta<1.25^3
Eigen et al. (2014)	0.215	-	0.907	0.611	0.887	0.971
Xu et al. (2018a)	0.121	0.052	0.586	0.811	0.954	0.987
Xu et al. (2018b)	0.125	0.057	0.593	0.806	0.952	0.986
Fu et al. (2018)	0.115	0.051	0.509	0.828	0.965	0.992
Godard et al. (2017)	-	-	-	-	-	-

• マルチスケール特徴融合とスケール不変・序数損失は、データセットを跨いだ深度推定精度を向上させる。
• 深層ネットワークを用いた連続およびカスケード型 CRF での融合は、NYU Depth V2 における RMSE および精度指標で競争力がある。
• 構造化アテンションと特徴レベルの融合は、マルチスケール情報の流れを改善し推論を高速化できる。
• 無監督の左-右一貫性アプローチはデータセット間で強い一般化能力を示し、KITTI で競争力のある RMSE と精度を達成できる。
• SID ベースの離散化は、序数回帰フレームワークにおける大深度の不確実性に対処することで深度推定に有益となり得る。
• 総じて、マルチスケール特徴を活用する監督付き手法は初期手法を上回る傾向があり、無監督手法はステレオ信号で訓練された場合に強い一般化を示す。