[논문 리뷰] InSpaceType: Reconsider Space Type in Indoor Monocular Depth Estimation

Cho-Ying Wu, Quankai Gao외 4명|arXiv (Cornell University)|2023. 09. 24.

Advanced Vision and ImagingComputer Science인용 수 3

한 줄 요약

이 논문은 실내 단안 심도 추정을 위한 고해상도 RGBD 데이터셋인 InSpaceType을 소개하고, 기존 방법에서 공간 유형 간 심각한 성능 불균형을 드러낸다. NYUv2에서 사전 훈련된 모델이 도서관이나 큰 방과 같은 드문 공간에서 성능이 떨어지는 것으로 나타나, 훈련 데이터 및 평가 프로토콜의 숨겨진 편향으로 인해 실제 적용 시 심각한 탄력성과 안전성 문제를 야기한다.

ABSTRACT

Indoor monocular depth estimation has attracted increasing research interest. Most previous works have been focusing on methodology, primarily experimenting with NYU-Depth-V2 (NYUv2) Dataset, and only concentrated on the overall performance over the test set. However, little is known regarding robustness and generalization when it comes to applying monocular depth estimation methods to real-world scenarios where highly varying and diverse functional extit{space types} are present such as library or kitchen. A study for performance breakdown into space types is essential to realize a pretrained model's performance variance. To facilitate our investigation for robustness and address limitations of previous works, we collect InSpaceType, a high-quality and high-resolution RGBD dataset for general indoor environments. We benchmark 12 recent methods on InSpaceType and find they severely suffer from performance imbalance concerning space types, which reveals their underlying bias. We extend our analysis to 4 other datasets, 3 mitigation approaches, and the ability to generalize to unseen space types. Our work marks the first in-depth investigation of performance imbalance across space types for indoor monocular depth estimation, drawing attention to potential safety concerns for model deployment without considering space types, and further shedding light on potential ways to improve robustness. See \url{https://depthcomputation.github.io/DepthPublic} for data and the supplementary document. The benchmark list on the GitHub project page keeps updates for the lastest monocular depth estimation methods.

연구 동기 및 목표

• 기존 벤치마킹에서 간과되는 다양한 실내 공간 유형 간 단안 심도 추정 모델의 탄력성에 대해 조사하기 위해.
• 저해상도, 높은 노이즈, 공간 유형 분해 없음 등의 문제를 안고 있는 기존 데이터셋(예: NYUv2)의 한계를 해결하기 위해.
• 12개의 공통된 실내 환경을 포함하는 고품질, 고해상도 RGBD 데이터셋인 InSpaceType를 수집하고, 계층적 공간 유형 분류 체계를 제안하기 위해.
• InSpaceType에서 12개의 최신 심도 추정 방법을 평가하고, 공간 유형 간 성능 변동성을 분석하기 위해.
• 미래의 공간 유형에 대한 일반화 능력과 성능 불균형 완화 전략을 평가하기 위해.

제안 방법

• 모델 성능의 미세 분석을 가능하게 하기 위해 12개의 카테고리(예: 개인실, 주방, 도서관, 큰 방)로 구성된 계층적 공간 유형 분류 체계를 제안하였다.
• 현대적인 스테레오 카메라 시스템(1242×2208 해상도)을 사용하여 InSpaceType를 수집하여, 노이즈가 감소한 고품질의 정렬된 RGB 및 심도 이미지를 생성하였다.
• InSpaceType에서 12개의 최신 단안 심도 추정 모델(지도학습 및 자기지도학습)을 평가하여 공간 유형 간 제로샷 성능를 분석하였다.
• δ₁, AbsRel, RMSE, SqRel 등의 지표를 사용하여 성능 변동성을 분석하였으며, 공간 유형별 및 그룹 수준의 평가를 수행하였다.
• 성능 불균형을 줄이기 위해 클래스 재가중, 클래스 균형 샘플링, 메타학습의 세 가지 전략을 평가하였다.
• 공간 유형을 세 기능 그룹(G1: 주거용, G2: 사무실용, G3: 큰/넓은 공간)으로 묶어, 제로샷 전이 성능을 측정함으로써 그룹 간 일반화 연구를 수행하였다.

Figure 1: Data samples of our InSpaceType Dataset.

실험 결과

연구 질문

• RQ1 단안 심도 추정 모델의 성능가 다양한 실내 공간 유형 간 어떻게 변동하는가? 특히 평균 지표를 넘어서 평가했을 때 어떻게 되는가?
• RQ2 NYUv2나 합성 데이터셋(Matterport3D, Replica 등)과 같은 기존 데이터셋이 특정 공간 유형에 대해 얼마나 편향을 유도하는가?
• RQ3 재가중, 샘플링, 메타학습 등의 표준 완화 기법이 공간 유형 간 성능 불균형을 효과적으로 줄일 수 있는가?
• RQ4 기능적으로 다를 수 있는 그룹 간 이식할 때 모델의 일반화 능력은 얼마나 뛰어나며, 특히 G1(주거용)에서 G3(큰/넓은 공간)로 전이했을 때 어떻게 되는가?
• RQ5 일반화를 방해하는 주요 요인은 무엇인가? 예를 들어 물체 다양성, 환경 혼잡도, 척도 불일치 등.

주요 결과

• NYUv2에서 사전 훈련된 모델은 심각한 성능 불균형을 보이다. δ₁은 개인실(헤드 타입)에서는 92.05에 도달하지만, 큰 방(테일 타입)에서는 54.93로 떨어지며 공통된 공간에 대한 강한 편향을 나타낸다.
• 미래의 공간 유형으로의 일반화 능력은 매우 어렵다. G1(주거용)에서 G3(큰/넓은 공간)로 전이했을 때 δ₁은 내부 그룹 전이 시 98.12에서 외부 그룹 전이 시 59.02로 떨어진다.
• 큰 방이나 넓은 공간(G3)에서 훈련하면 더 작은 방으로의 일반화 능력이 약간 더 뛰어나지 않으며, 이는 복잡한 장면에서 단순한 장면으로의 전이 가능성에 대한 약간의 증거를 제공한다.
• SimSIN 및 Hypersim과 같은 합성 데이터셋은 주방과 같은 공간의 실제 혼잡도와 소형 물체의 복잡성을 포착하지 못해, 이러한 유형에서 성능이 열 劣하다.
• 가장 뛰어난 완화 전략인 메타학습조차도 상당한 성능 격차를 남기며, 가장 열악한 그룹 간 전이 사례(G2 → Far)에서 δ₁이 66.01로 떨어지며 지속적인 일반화 과제를 보여준다.
• InSpaceType는 현재 평가 프로토콜이 공간 유형 간 중요한 성능 변동성을 간과하고 있음을 드러내며, 심도 모델의 실제 적용 시 안전성 문제를 제기한다.

Figure 2: Statistics for InSpaceType evaluation set.