[論文レビュー] Size-to-depth: A New Perspective for Single Image Depth Estimation

Yiran Wu, Sihao Ying+1 more|arXiv (Cornell University)|Jan 13, 2018

Advanced Vision and Imaging参考文献 10被引用数 15

ひとこと要約

本論文は、人間がラベル付けした物体サイズを用いて幾何的関係を介して相対的深度を推定し、その後CRFを用いた精緻化によって正確な深度マップを生成する、単一画像モノクローラ深度推定のための新規なサイズから深度へのアプローチを提案する。この手法は、従来の深度ラベル付け技術を上回り、NYU Depthデータセットにおいて21%低い相対誤差を達成し、優れた指標を示した。

ABSTRACT

In this paper we consider the problem of single monocular image depth estimation. It is a challenging problem due to its ill-posedness nature and has found wide application in industry. Previous efforts belongs roughly to two families: learning-based method and interactive method. Learning-based method, in which deep convolutional neural network (CNN) is widely used, can achieve good result. But they suffer low generalization ability and typically perform poorly for unfamiliar scenes. Besides, data-hungry nature for such method makes data aquisition expensive and time-consuming. Interactive method requires human annotation of depth which, however, is errorneous and of large variance. To overcome these problems, we propose a new perspective for single monocular image depth estimation problem: size to depth. Our method require sparse label for real-world size of object rather than raw depth. A Coarse depth map is then inferred following geometric relationships according to size labels. Then we refine the depth map by doing energy function optimization on conditional random field(CRF). We experimentally demonstrate that our method outperforms traditional depth-labeling methods and can produce satisfactory depth maps.

研究の動機と目的

• 生体的深度推定の不適切な性質に対処するため、生の深度ではなく物体サイズに基づく新しい視点を導入すること。
• 学習ベースの手法が一般化性の低さとデータ依存性に苦しむこと、またインタラクティブ手法が人間が絶対的深度を推定しにくいことによる誤差と非効率性を克服すること。
• 人間のサイズ推定能力を活かし、直接的な深度ラベル付けからサイズラベル付けへの移行により、ラベル付けの正確性と効率性を向上させること。
• 物体境界での深度不連続性を保持しつつ局所的な連続性を維持する、頑健な深度伝搬フレームワークの開発。
• サイズベースのラベル付けが従来の深度ラベル付け手法に比べ、優れた深度マップ品質をもたらすことを実証すること。

提案手法

• 本手法は、物体のスパースな人間ラベル付きの現実世界のサイズを入力とし、幾何的関係：深度 ∝ (焦点距離 × 実世界のサイズ) / (画像内サイズ) を用いて相対的深度を推定する。
• 推定された比例関係に基づいて深度値を割り当てることで、粗い深度マップを生成する。
• 独自の条件付きランダムフィールド（CRF）モデルを用いて粗い深度マップを精緻化し、単一項はサイズラベルに基づき、二項項は画像強度の類似性に基づく滑らかさを強制する。
• CRFのエネルギー関数は E(x,y) = Σ_p E_unary(y_p,x) + λ Σ_(b,c)∈A (1/2) E_binary(y_b,y_c,x) で定義され、E_binaryには類似性重み sim(b,c) = exp(−β|I_b − I_c|) が含まれ、類似領域での深度の一貫性を促進する。
• 局所的な画像類似性に基づくペナルティの重み付けにより、物体境界での深度不連続性を保持しながら深度伝搬を最適化する。
• ハイパーパrameter λ と β は、ラベルへの忠実性と滑らかさのトレードオフを制御し、β はRGB強度差に基づく深度差のペナルティを調節する。

実験結果

リサーチクエスチョン

• RQ1 物体サイズラベル付けは、単一画像深度推定における直接的深度ラベル付けの代替として、より正確で効率的であると言えるか？
• RQ2 物体サイズ、画像内サイズ、深度の間の幾何的関係は、現実世界のシーンにおいて信頼性のある深度推定を可能にするか？
• RQ3 CRFベースの精緻化モデルは、スパースなサイズラベルから深度を効果的に伝搬させつつ、物体境界での不連続性を保持できるか？
• RQ4 定量的指標において、サイズから深度へのラベル付けは従来の深度ラベル付け手法に比べてどのように性能を発揮するか？
• RQ5 ハイパーパrameter λ と β は、最終的な深度マップの品質と滑らかさにどの程度影響を与えるか？

主な発見

• 物体サイズのラベル付けでは相対誤差が8%にとどまり、直接的深度ラベル付けの21%に比べ顕著に低いことから、より高い正確性と効率性を示した。
• 提案手法はNYU Depthデータセットで平均二乗誤差0.016を達成し、従来の手作業による深度手法（0.048）を上回った。
• コサイン類似度は0.976を達成し、ベースラインの0.935を上回り、真値の深度ベクトルとの整合性が優れていた。
• ペアワイズランク精度は0.858に達し、ベースラインの0.818を上回り、相対的深度順序の改善が確認された。
• 本手法は、物体境界での深度不連続性を保持しつつ、均一な領域では滑らかさを維持する視覚的に妥当な深度マップを生成した。
• 感度分析から、λ と β が滑らかさとラベル忠実性に顕著な影響を与えることが判明し、最適な値が正確性と連続性のバランスを取ることを示した。