[論文レビュー] Enforcing geometric constraints of virtual normal for depth prediction

Wei Yin, Yifan Liu+2 more|arXiv (Cornell University)|Jul 29, 2019

Advanced Vision and Imaging参考文献 43被引用数 55

ひとこと要約

本論文は、仮想法線損失と呼ばれる高次の3D幾何制約を導入し、単眼深度予測を監督する。これにより追加のサブモデルなしで正確な深度マップと高品質な3D再構成を実現する。

ABSTRACT

Monocular depth prediction plays a crucial role in understanding 3D scene geometry. Although recent methods have achieved impressive progress in evaluation metrics such as the pixel-wise relative error, most methods neglect the geometric constraints in the 3D space. In this work, we show the importance of the high-order 3D geometric constraints for depth prediction. By designing a loss term that enforces one simple type of geometric constraints, namely, virtual normal directions determined by randomly sampled three points in the reconstructed 3D space, we can considerably improve the depth prediction accuracy. Significantly, the byproduct of this predicted depth being sufficiently accurate is that we are now able to recover good 3D structures of the scene such as the point cloud and surface normal directly from the depth, eliminating the necessity of training new sub-models as was previously done. Experiments on two benchmarks: NYU Depth-V2 and KITTI demonstrate the effectiveness of our method and state-of-the-art performance.

研究の動機と目的

• 高次の3D幾何制約が単眼深度予測を改善することを実証する。
• 3D点群上で動作する堅牢なグローバル幾何制約としてvirtual normalを提案する。
• VN lossを課すことが、予測深度から高品質な3D再構成（点群と表面法線）をもたらすことを示す。
• NYU Depth-V2およびKITTIデータセットで最先端の結果を達成する。
• 深度ノイズに対する頑健性を評価し、サンプリングの効果とバックボーンを分析する。

提案手法

• ピンホールカメラモデルを用いて、予測深度マップ D_pred から 3D 点群 P_pred を再構成する。
• 仮想法線を、非共線点の多数のトリプレットをランダムにサンプリングして平面を形成し、それらの法線を計算することで定義する。
• 有効なトリプレット (VNL) に対して、予測 VN 法線と真値 VN 法線との平均 L1 差として Virtual Normal Loss を計算する。
• WCEL ピクセル単位深度監視を VNL と組み合わせて、ネットワークをエンドツーエンドで訓練する（loss = WCEL + lambda * VNL）。
• 長距離の高次3D制約を活用して、局所的な表面法線を超えるグローバル幾何監督を提供する。
• 推論時に追加のサブモデルなしで、再構成された点群から表面法線などの3D特徴を直接回復する。

実験結果

リサーチクエスチョン

• RQ1 3D空間でグローバルかつ高次の幾何制約を課すことは、局所的またはペアワイズ制約を超えて単眼深度予測を改善するか。
• RQ2 追加のモデルなしで、予測深度から高品質な3D構造（点群および表面法線）を回復することを virtual normal は可能にするか。
• RQ3 標準ベンチマークにおいて、深度ノイズの下で VN loss は、異なるバックボーン間でどのように性能を発揮するか。
• RQ4 VN loss の有効性に対するサンプル化したトリプレット数の影響は何か。
• RQ5 提案手法は NYU Depth-V2 および KITTI データセットで最先端手法とどのように比較されるか。

主な発見

Method	rel	log10	rms	delta1	delta2	delta3
Ours	0.108	0.048	0.416	0.875	0.976	0.994
DORN	0.115	0.051	0.509	0.828	0.965	0.992
Laina et al.	0.127	0.055	0.573	0.811	0.953	0.988
Liu et al.	0.143	0.063	0.635	0.788	0.958	0.991

• The Virtual Normal Loss (VNL) は、ピクセル単位の監視を超える深度予測を改善し、NYU Depth-V2 および KITTI で最先端の結果を達成する。
• NYUD-V2 で、私たちの手法は rel = 0.108, log10 = 0.048, rms = 0.416, delta1 = 0.875, delta2 = 0.976, delta3 = 0.994 を達成する。
• KITTI で、私たちの手法は delta1 = 0.938, delta2 = 0.990, delta3 = 0.998, rel = 0.072, rms = 3.258, rms (log) = 0.117 を達成する。
• VN は、予測深度から高品質な3D点群と表面法線を直接回復することを可能にし、専用の法線推定手法と同等かそれを上回る。
• このアプローチは軽量なバックボーン（例: MobileNetV2）でも有効で、精度とパラメータのトレードオフが優れている。
• VN triplet の数を増やすと、飽和点まで性能が向上し、その後は利得が頭打ちになる。