[論文レビュー] From 2D to 3D: Re-thinking Benchmarking of Monocular Depth Prediction

Evin Pınar Örnek, Shristi Mudgal+4 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、2Dメトリクスから3D幾何的品質へ評価の焦点を移す3Dに配慮した評価フレームワークを提案する。Fスコアなどの新規メトリクスと、RGB-D再構築から得た高品質で完全な3D深度マップを備えた新ベンチマークRIO-D3Dを用いる。主な貢献は、2Dメトリクス（例：absrel）が真の3D構造的正確性を反映しないのに対し、Fスコアのような3Dメトリクスが定性的な性能とより整合し、MDPおよび3Dシーン再構築のベンチマークを改善できることを示したことである。

ABSTRACT

There have been numerous recently proposed methods for monocular depth prediction (MDP) coupled with the equally rapid evolution of benchmarking tools. However, we argue that MDP is currently witnessing benchmark over-fitting and relying on metrics that are only partially helpful to gauge the usefulness of the predictions for 3D applications. This limits the design and development of novel methods that are truly aware of - and improving towards estimating - the 3D structure of the scene rather than optimizing 2D-based distances. In this work, we aim to bring structural awareness to MDP, an inherently 3D task, by exhibiting the limits of evaluation metrics towards assessing the quality of the 3D geometry. We propose a set of metrics well suited to evaluate the 3D geometry of MDP approaches and a novel indoor benchmark, RIO-D3D, crucial for the proposed evaluation methodology. Our benchmark is based on a real-world dataset featuring high-quality rendered depth maps obtained from RGB-D reconstructions. We further demonstrate this to help benchmark the closely-tied task of 3D scene completion.

研究の動機と目的

• 2Dベースのメトリクスに依存するため、単眼深度予測（MDP）におけるベンチマーク過適合の増大という問題に対処する。これらのメトリクスは真の3D構造的正確性を反映しない。
• 2Dメトリクス（例：absrel）が、3D空間に再投影された際の深度予測の幾何的忠実度を捉えることの限界を明らかにする。
• 特にFスコアを含む3Dメトリクスに基づく新しい評価プロトコルを提案し、構造的品質と真の3D幾何との整合性をよりよく定量化する。
• 高品質でノイズ除去され、完全な3D深度マップ、法線、オクルージョン、セマンティックアノテーションを備えた、大規模で現実世界の屋内ベンチマークRIO-D3Dを紹介する。MDPおよび3Dシーン再構築に用いる。
• 同じ再構築から得た完全な3Dメッシュと部分的深度入力を提供することで、3Dシーン再構築の評価をより正確に可能にする。

提案手法

• 3D構造的品質を評価するため、チェンファーディスタンス（CD）、エアス・モーバー距離（EMD）、オーバーラップ・イン・ユニオン（IoU）、Fスコアなどのメトリクスを用いた3D評価プロトコルを設計する。
• 高解像度RGB-D再構築から得た大規模な屋内データセットRIO-D3Dを開発し、完全でノイズ除去され、正確な3D深度の真値を保証する。
• k近傍（knn）マッチングの誤差に対して頑健で、構造的忠実度に敏感であるため、点群ベースのIoUとFスコアを主な評価メトリクスとして採用する。
• 2Dと3Dメトリクスの両方を用いて、最先端のMDPおよび3Dシーン再構築モデルをRIO-D3Dで比較し、2Dスコアと3D構造的品質の乖離を実証する。
• セマンティックアノテーションとオクルージョンマスクをRIO-D3Dに統合し、セマンティックに配慮した深度予測とシーン再構築を支援する。
• RIO-D3Dデータセットと評価コードを公開し、3Dに配慮したベンチマークの再現可能性とコミュニティへの採用を促進する。

実験結果

リサーチクエスチョン

• RQ1 一般的に用いられる2Dメトリクス（例：absrel）は、予測された深度マップの実際の3D幾何的構造とどの程度相関しているか。
• RQ2 CD、EMD、IoU、Fスコアのうち、どれが現実世界の3Dシーンにおける深度予測の構造的正確性と頑健性を最もよく反映しているか。
• RQ3 真値深度データの品質（例：ノイズ、完全性）がMDPベンチマークの信頼性とモデルの汎化性能に与える影響は。
• RQ4 高品質で完全な3D深度マップを備えた新ベンチマークは、3Dに配慮したMDPおよび3Dシーン再構築手法の評価と開発をどのように改善できるか。
• RQ5 最先端のMDPおよび3Dシーン再構築モデルは、RIO-D3Dにおいて2Dメトリクスと3Dメトリクスの両方で評価した際に、どのように性能を示すか。

主な発見

• 2Dメトリクス（例：absrel）は、深度予測の3D構造が著しく悪い場合でも低分散を示すため、構造的不正確さを検出できないことが判明した。
• Fスコアは、正確性と再現率を組み合わせており、knnマッチング誤差に対しても頑健であるため、CD や EMD よりも構造的品質をよりよく反映する。
• FスコアはIoU や EMD よりも信頼性が高く、急激なスコアの上昇を回避し、正しく再構築された3Dポイントの割合をより良い指標で定量化できる。
• RIO-D3Dでは、ボクセルベースのシーン再構築モデル（例：ForkNet）が、ポイントベースのモデル（例：GRNet、MSN）よりもCDおよびEMDの両方で優れている。これは、アーキテクチャが3D忠実度に与える影響を示している。
• 高いabsrelスコアを達成する最先端のMDPモデルでも、再投影された際の3D構造は悪く、2D最適化と3D有用性の乖離が顕著に現れている。
• 提案されたFスコアは、同じabsrel値を示すモデル間でより大きな分散を示すため、2Dメトリクスよりも3D構造的品質の指標としてより情報量が多くなる。