[논문 리뷰] LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering

Fu-En Wang, Yu-Hsuan Yeh외 3명|arXiv (Cornell University)|2021. 04. 01.

Advanced Vision and Imaging참고 문헌 31인용 수 4

한 줄 요약

LED2-Net는 수평선 상의 3D 인지된 깊이 추정 작업으로서 단일 360° 레이아웃 추정을 공식화하여, 3D 기하 구조적 감독을 통해 엔드 투 엔드 훈련이 가능한 가역적 레이아웃-깊이(L2D) 렲팅 방법을 제안한다. 이 방법은 Structured3D와 같은 합성 깊이 데이터셋에서의 사전 훈련을 통해 개선된 일반화 능력을 제공하며, 여러 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Although significant progress has been made in room layout estimation, most methods aim to reduce the loss in the 2D pixel coordinate rather than exploiting the room structure in the 3D space. Towards reconstructing the room layout in 3D, we formulate the task of 360 layout estimation as a problem of predicting depth on the horizon line of a panorama. Specifically, we propose the Differentiable Depth Rendering procedure to make the conversion from layout to depth prediction differentiable, thus making our proposed model end-to-end trainable while leveraging the 3D geometric information, without the need of providing the ground truth depth. Our method achieves state-of-the-art performance on numerous 360 layout benchmark datasets. Moreover, our formulation enables a pre-training step on the depth dataset, which further improves the generalizability of our layout estimation model.

연구 동기 및 목표

• 2D 픽셀 기반 손실이 단일 360° 레이아웃 추정에서 3D 기하 구조를 포착하지 못하는 한계를 해결하기 위해.
• 정답 깊이 애너테이션을 필요로 하지 않고도 3D 기하 구조적 감독을 레이아웃 추정에 통합하기 위해.
• 레이아웃-깊이 변환 과정을 가역적으로 만들어 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 합성 360° 깊이 데이터셋에서의 사전 훈련을 통해 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 이 방법은 360° 레이아웃 추정을 수평선을 따라 깊이 값 예측으로 공식화하여, '수평선-깊이'라고 부르며 3D 기하 일관성을 유지한다.
• 단위 구에서 레이 캐스팅을 기반으로 한 가역적 L2D(레이아웃-깊이) 절차를 도입하여, 깊이 손실에서 레이아웃 예측으로의 기울기 흐름을 가능하게 한다.
• 유연한 수의 레이(기본값 M=256)를 사용하여 수평선-깊이 맵을 근사화함으로써 계산 비용을 줄이는 '그리드 재샘플링' 전략을 도입한다.
• 표준 깊이 추정 손실 함수(예: L2 손실)를 3D 공간에서 활용하여 기하 정확도를 향상시킨다.
• 고품질의 깊이 감독을 제공하는 합성 360° 깊이 데이터셋인 Structured3D와 같은 데이터셋에서의 사전 훈련을 가능하게 한다.
• 레이아웃 데이터셋에서의 엔드 투 엔드 훈련과 깊이 사전 훈련을 통한 전이 학습을 모두 지원한다.

실험 결과

연구 질문

• RQ1 가역적 깊이 렌더링은 단일 360° 레이아웃 추정에서 3D 기하 일관성을 향상시키는가?
• RQ2 레이아웃 추정을 수평선-깊이 예측 작업으로 공식화하는 것이 기존의 2D 픽셀 기반 손실보다 더 나은 성능을 내는가?
• RQ3 합성 360° 깊이 데이터셋에서의 사전 훈련이 다양한 레이아웃 분포 간의 일반화 능력을 향상시키는가?
• RQ4 레이 캐스팅 과정에서 사용하는 레이의 수에 모델이 얼마나 민감한가?
• RQ5 제안된 방법은 내부 데이터셋 및 교차 데이터셋 평가 설정 모두에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• LED2-Net은 Matterport3D, Realtor360, PanoContext, Stanford2D3D에서 최신 기술 성능을 달성하였으며, 내부 및 교차 데이터셋 평가 모두에서 HorizonNet과 AtlantaNet을 능가한다.
• 특히 Matterport3D에서 훈련하고 Realtor360 및 Stanford2D3D에서 테스트할 경우, Structured3D 합성 깊이 데이터셋에서의 사전 훈련으로 교차 데이터셋 일반화 능력이 크게 향상된다.
• Realtor360 내부 데이터셋 설정에서 Structured3D에서의 사전 훈련으로 성능이 약 1% 향상되어 3D 기하 사전 지식의 유용성을 입증한다.
• 그리드 재샘플링 전략에서 M=256 레이에서 성능이 포화 상태에 도달하여, 더 높은 레이 수는 계산 비용 증가에 비해 수익이 감소함을 시사한다.
• IoU 지표는 모든 데이터셋에서 일관된 향상을 보이며, 3D 인지된 깊이 감독이 레이아웃 경계 정확도를 향상시킴을 확인한다.
• 제거 실험을 통해 가역적 L2D 모듈이 엔드 투 엔드 훈련에 필수적이며 효과적인 3D 기하 제약 조건 활용을 가능하게 함을 확인한다.