[論文レビュー] VA-DepthNet: A Variational Approach to Single Image Depth Prediction

Ce Liu, Suryansh Kumar+3 more|arXiv (Cornell University)|Feb 13, 2023

Advanced Vision and Imaging被引用数 17

ひとこと要約

VA-DepthNet は単一画像深度推定に1階の変分制約を導入し、深度勾配を予測して重み付き最小二乗問題を解き深度を回復する。KITTIと NYU で最先端の結果を達成し、高周波ディテールを保つ。

ABSTRACT

We introduce VA-DepthNet, a simple, effective, and accurate deep neural network approach for the single-image depth prediction (SIDP) problem. The proposed approach advocates using classical first-order variational constraints for this problem. While state-of-the-art deep neural network methods for SIDP learn the scene depth from images in a supervised setting, they often overlook the invaluable invariances and priors in the rigid scene space, such as the regularity of the scene. The paper's main contribution is to reveal the benefit of classical and well-founded variational constraints in the neural network design for the SIDP task. It is shown that imposing first-order variational constraints in the scene space together with popular encoder-decoder-based network architecture design provides excellent results for the supervised SIDP task. The imposed first-order variational constraint makes the network aware of the depth gradient in the scene space, i.e., regularity. The paper demonstrates the usefulness of the proposed approach via extensive evaluation and ablation analysis over several benchmark datasets, such as KITTI, NYU Depth V2, and SUN RGB-D. The VA-DepthNet at test time shows considerable improvements in depth prediction accuracy compared to the prior art and is accurate also at high-frequency regions in the scene space. At the time of writing this paper, our method -- labeled as VA-DepthNet, when tested on the KITTI depth-prediction evaluation set benchmarks, shows state-of-the-art results, and is the top-performing published approach.

研究の動機と目的

• SIDPを、シーンの事前知識と規則性が精度を向上させる不適定な問題として動機づける。
• 深度勾配の正則性を保証しつつ、連続性を許容する変分制約を提案する。
• 深度勾配と信頼度重みを予測し、閉形式解で深度を回復するネットワークを開発する。
• 変分層をエンコーダ–デコーダのバックボーンと多段階の精練パイプラインと統合し、計量深度を予測する。

提案手法

• ストライド16/32の特徴を融合する V-layer から、深度勾配成分（Gamma_x, Gamma_y）と信頼度重み（Sigma_x, Sigma_y）を予測する。
• 1階差分と学習可能な信頼度加重行列を用いて過剰決定系を形成し、未スケール深度 Z_u を解く。 Z_u* = (P^T Σ^2 P)^{-1} P^T Σ^2 Γ。
• 1/16、1/8、1/4 の解像度で階層的な3段階の改良を通じて V-layer 深度マップをアップサンプリングおよび改良する。
• プールされた特徴マップから2つのスカラーを回帰するメトリック層を介してグローバルなスケールとシフトを推定し、メトリック深度を回復する。
• スケール不変の深度損失と深度勾配との整合性を強制する変分損失の組み合わせで訓練する。
• KITTI、NYU Depth V2、および SUN RGB-D で高周波ディテールの保持とデータセットを跨る一般化の改善を示す。

実験結果

リサーチクエスチョン

• RQ1 1階の変分制約を課すことは、純粋にデータ駆動型アプローチを超えたSIDPの精度向上につながるか？
• RQ2 予測された深度勾配と信頼度重みは、深度回復とデータセット間の一般化にどう影響するか？
• RQ3 トランスフォーマーベースのエンコーダと統合した変分層は、標準的なSIDPベンチマークで最先端の結果を達成できるか？
• RQ4 V-layer、異なるバックボーン、アブレーションが性能と効率に与える影響は？

主な発見

• NYU Depth V2 で、SILog 8.198、delta1 0.937 を達成し、従来技術を上回る。
• KITTI Eigen で、SILog 6.817、delta1 0.977 を達成し、いくつかの最先端手法を凌駕。
• SUN RGB-D で、SILog 12.596、delta1 0.929 を達成し、NYU Depth V2 で訓練した場合のデータセット跨ぎ一般化を示す。
• Swin-L バックボーンと V-layer を組み合わせた VA-DepthNet は、AdaBins および NeWCRFs と比較して推論時間とパラメータ数が有利な強い精度を示す。
• アブレーション研究は、V-layer と信頼度重み付き変分定式化が、単純な畳み込みや自己注意層などの代替案より効果的であることを確認する。
• 本手法は、シーン規則性を活用して全体の深度マップを改善しつつ、高周波の深度ディテールを維持する。