[論文レビュー] IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty

Gwangbin Bae, Ignas Budvytis+1 more|arXiv (Cornell University)|Oct 7, 2022

Advanced Vision and Imaging被引用数 9

ひとこと要約

IronDepth は、予測された表面法線とその不確実性を活用して、単一視点深度推定の反復的精錬フレームワークを提案する。深度の精錬を、最適な隣接ピクセルを選択する分類問題として定式化し、サブピクセルのアップサンプリングを適用することで、NYUv2 および iBims-1 で最先端の性能を達成し、標準的な深度推定ネットワークをはるかに上回る表面法線の精度向上を実現する。

ABSTRACT

Single image surface normal estimation and depth estimation are closely related problems as the former can be calculated from the latter. However, the surface normals computed from the output of depth estimation methods are significantly less accurate than the surface normals directly estimated by networks. To reduce such discrepancy, we introduce a novel framework that uses surface normal and its uncertainty to recurrently refine the predicted depth-map. The depth of each pixel can be propagated to a query pixel, using the predicted surface normal as guidance. We thus formulate depth refinement as a classification of choosing the neighboring pixel to propagate from. Then, by propagating to sub-pixel points, we upsample the refined, low-resolution output. The proposed method shows state-of-the-art performance on NYUv2 and iBims-1 - both in terms of depth and normal. Our refinement module can also be attached to the existing depth estimation methods to improve their accuracy. We also show that our framework, only trained for depth estimation, can also be used for depth completion. The code is available at https://github.com/baegwangbin/IronDepth.

研究の動機と目的

• 深度マップから導出される表面法線と、専用ネットワークによって直接推定された表面法線との間の顕著な差異を是正すること。
• 反復的精錬プロセスにおいて、表面法線のガイダンスと不確実性を活用することで、深度推定の精度を向上させること。
• 3次元再構成における、平らな壁や床などのシーン幾何のより良い保存を実現すること。
• 再トレーニングを必要とせず、既存の深度推定ネットワークを強化できるプラグインモジュールを開発すること。
• スパarsな深度測定値をアンカーポイントとして組み込むことで、深度補完への適用可能性を拡張すること。

提案手法

• ピクセルの深度と表面法線によって定義される平面モデルを用いて、隣接ピクセルへの深度伝搬をガイドする。
• 深度精錬を、法線の一貫性に基づいて最適なソースピクセルを選択する分類タスクとして定式化する。
• 粗い解像度で再帰的ネットワークを用いて反復的精錬を実行し、伝搬重みを用いて深度予測を更新する。
• 学習されたアップサンプリング重みを用いてサブピクセルのアップサンプリングを実行し、高解像度での出力を精錬する。
• 表面法線の不確実性を組み込み、伝搬意思決定の信頼性を重みづけする。
• フレームワークはエンドツーエンドで訓練可能であり、任意の事前学習済み深度推定モデルに対してポストプロセッシングモジュールとして適用可能である。

実験結果

リサーチクエスチョン

• RQ1 表面法線ガイダンスは、標準的な回帰ベースの深度推定をはるかに超えて、深度マップの幾何的精度を向上させ得るか？
• RQ2 法線ガイダンスによる伝搬を用いた反復的精錬は、直接的に深度を回帰するのと比較して、より優れた表面法線推定をもたらすか？
• RQ3 提案手法は、既存の深度推定ネットワークを強化するためのポストプロセッシングモジュールとして効果的に適用可能か？
• RQ4 スパースな深度測定値が利用可能な場合、フレームワークはどの程度深度補完の精度を向上させるか？
• RQ5 表面法線の不確実性は、深度伝搬の信頼性と性能にどのように影響するか？

主な発見

• IronDepth は NYUv2 で最先端の性能を達成し、深度誤差（abs rel）が 0.115、表面法線の平均角誤差が 13.7° にまで低下し、ベースライン深度モデルを著しく上回る。
• iBims-1 データセットでは、深度誤差（abs rel）が 0.121、表面法線の平均角誤差が 14.8° を達成し、優れた汎化性能を示している。
• IronDepth の深度予測から導出される表面法線は、AdaBins から計算されるもの（28.8° 対 14.9°）と比較して著しく正確であるため、幾何学的忠実度が向上していることが示唆される。
• ポストプロセッシングモジュールとして適用した場合、IronDepth は NYUv2 および iBims-1 の両ベンチマークで、5 つの最先端深度推定手法の深度精度を向上させた。
• フレームワークは、スパースな深度測定値を法線ガイダンスによる精錬を通じて伝搬させることで、最小限のアンカーポイントで効果的な深度補完を実現する。
• アブレーションスタディの結果、不確実性の組み込みと分類ベースの伝搬選択が、より安定的かつ正確な深度精錬をもたらすことが確認された。