[논문 리뷰] From 2D to 3D: Re-thinking Benchmarking of Monocular Depth Prediction

Evin Pınar Örnek, Shristi Mudgal외 4명|arXiv (Cornell University)|2022. 03. 15.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 단일 렌즈 깊이 예측(MDP)을 위한 3차원 인지 평가 프레임워크를 제안하며, 기존 2차원 평가 지표에서 3차원 기하학적 품질로의 초점을 이동시킨다. F-score와 같은 새로운 지표와 고해상도 RGB-D 재구성에서 유도된 고품질 완전한 3차원 깊이 맵을 포함하는 새로운 벤치마크인 RIO-D3D를 도입한다. 주요 기여는 2차원 지표인 absrel이 진정한 3차원 구조 정확도를 반영하지 못함을 입증하고, F-score와 같은 3차원 지표가 정성적 성능과 더 잘 일치하며 MDP 및 3차원 장면 복구에 대한 벤치마킹을 향상시킴을 보여준다.

ABSTRACT

There have been numerous recently proposed methods for monocular depth prediction (MDP) coupled with the equally rapid evolution of benchmarking tools. However, we argue that MDP is currently witnessing benchmark over-fitting and relying on metrics that are only partially helpful to gauge the usefulness of the predictions for 3D applications. This limits the design and development of novel methods that are truly aware of - and improving towards estimating - the 3D structure of the scene rather than optimizing 2D-based distances. In this work, we aim to bring structural awareness to MDP, an inherently 3D task, by exhibiting the limits of evaluation metrics towards assessing the quality of the 3D geometry. We propose a set of metrics well suited to evaluate the 3D geometry of MDP approaches and a novel indoor benchmark, RIO-D3D, crucial for the proposed evaluation methodology. Our benchmark is based on a real-world dataset featuring high-quality rendered depth maps obtained from RGB-D reconstructions. We further demonstrate this to help benchmark the closely-tied task of 3D scene completion.

연구 동기 및 목표

• 2차원 기반 지표에 의존함으로써 발생하는 단일 렌즈 깊이 예측(MDP)의 벤치마크 과적합 문제를 해결하기 위해 진정한 3차원 구조 정확도를 반영하지 못하는 2차원 지표의 한계를 해결한다.
• 역방향 투영된 3차원 공간에서 깊이 예측의 기하학적 정밀도를 캡처하지 못하는 현재의 2차원 지표(예: absrel)의 한계를 폭 드러낸다.
• 특히 F-score를 포함한 3차원 지표를 기반으로 한 새로운 평가 프로토콜을 제안하여 구조적 품질과 진정된 3차원 기하학과의 일치도를 더 잘 측정한다.
• 고품질, 노이즈 제거, 완전한 3차원 깊이 맵, 노말, 망각, 의미적 태그가 포함된 대규모 실내 벤치마크인 RIO-D3D를 제안한다. 이는 MDP 및 3차원 장면 복구에 기여한다.
• 동일한 재구성에서 유도된 완전한 3차원 메esh와 부분 깊이 입력을 제공함으로써 3차원 장면 복구의 더 정확한 평가를 가능하게 한다.

제안 방법

• 깊이 예측의 3차원 기하학적 품질을 평가하기 위해 카미어 거리(CD), 지구 이동 거리(EMD), 교차율(IoU), F-score와 같은 지표를 사용하는 3차원 평가 프로토콜을 설계한다.
• 고해상도 RGB-D 재구성에서 유도된 대규모 실내 데이터셋인 RIO-D3D를 개발하여 완전하고 노이즈 제거된 정확한 3차원 깊이 진짜값을 확보한다.
• k-최근접 이웃(knn) 매칭 오류에 대해 강건하고 구조적 정밀도에 더 민감한 특성 덕분에 포인트 클라우드 기반의 IoU와 F-score를 주요 평가 지표로 사용한다.
• 2차원 및 3차원 지표를 모두 사용하여 최신 MDP 및 3차원 장면 복구 모델을 RIO-D3D에서 비교함으로써 2차원 점수와 3차원 기하학적 품질 간의 괴리를 입증한다.
• 의미적 인식 깊이 예측 및 장면 복구를 지원하기 위해 RIO-D3D에 의미적 태그와 망각 마스크를 통합한다.
• RIO-D3D 데이터셋과 평가 코드를 공개하여 재현 가능성과 3차원 인지 벤치마킹의 공동체적 수용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 2차원 지표인 absrel이 예측된 깊이 맵의 실제 3차원 기하학적 구조와 얼마나 관련이 있는가?
• RQ2 CD, EMD, IoU, 또는 F-score 중에서 실제 3차원 장면에서 깊이 예측의 구조 정확도와 강건성을 가장 잘 반영하는 3차원 지표는 무엇인가?
• RQ3 기본 깊이 데이터의 품질(예: 노이즈, 완전성)이 MDP 벤치마킹의 신뢰성과 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ4 고품질, 완전한 3차원 깊이 맵을 갖춘 새로운 벤치마크가 3차원 인지 MDP 및 3차원 장면 복구 방법의 평가 및 개발을 어떻게 향상시킬 수 있는가?
• RQ5 최신 MDP 및 3차원 장면 복구 모델이 RIO-D3D에서 3차원 지표와 전통적인 2차원 지표로 평가되었을 때 성능은 어떻게 다른가?

주요 결과

• 2차원 지표인 absrel은 깊이 예측의 3차원 구조가 열악한 경우에도 낮은 분산을 보이며, 이는 구조적 정확도 결함을 감지하지 못함을 시사한다.
• F-score는 정밀도와 재현율을 통합하고 knn 매칭 오류에 강건하기 때문에 CD 및 EMD보다 구조적 품질을 더 잘 반영한다.
• F-score는 IoU 및 EMD보다 더 신뢰할 수 있으며, 갑작스러운 점수 급등을 방지하고 더 정확히 재구성된 3차원 포인트의 비율을 측정한다.
• RIO-D3D에서 복셀 기반 장면 복구 모델(ForkNet 등)은 CD 및 EMD 측면에서 포인트 기반 모델(GRNet, MSN 등)을 모두 압도하며, 이는 아키텍처가 3차원 정확도에 미치는 영향을 보여준다.
• 높은 absrel 점수를 기록하는 최신 MDP 모델들이 역방향 투영 시에 악성 3차원 구조를 생성하는 경우가 많아, 2차원 최적화와 3차원 활용 간의 괴리를 드러낸다.
• 제안된 F-score 지표는 유사한 absrel 값을 가진 모델들 사이에서 더 큰 변동성을 보이며, 2차원 지표보다 3차원 구조 정확도를 더 잘 반영하는 정보성 있는 지표임을 입증한다.