[논문 리뷰] DiffusionDepth: Diffusion Denoising Approach for Monocular Depth Estimation

Yiqun Duan, Xianda Guo외 1명|arXiv (Cornell University)|2023. 03. 09.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 단일 영상에서 깊이 추정을 위한 새로운 확산 기반 노이즈 제거 프레임워크인 DiffusionDepth를 제안한다. 이 프레임워크는 잠재 공간에서 단일 영상 시각적 가이던스를 사용하여 무작위 깊이 초기화를 반복적으로 정제함으로써 고해상도이고 세밀한 깊이 맵을 생성한다. 희박한 진짜값(ground truth)이 아닌 자기 자신이 정제한 예측값을 노이즈 제거하는 자기 확산 학습 방식을 도입함으로써 모드 붕괴 문제를 해결하고, KITTI와 NYU-Depth-V2에서 각각 0.298 RMSE 및 1.452 RMSE의 최신 기술 수준(SOTA) 성능을 달성한다. 또한 ResNet 기반에서는 14 FPS, Swin 기반에서는 5 FPS의 실시간 적용에 적합한 추론 속도를 유지한다.

ABSTRACT

Monocular depth estimation is a challenging task that predicts the pixel-wise depth from a single 2D image. Current methods typically model this problem as a regression or classification task. We propose DiffusionDepth, a new approach that reformulates monocular depth estimation as a denoising diffusion process. It learns an iterative denoising process to `denoise' random depth distribution into a depth map with the guidance of monocular visual conditions. The process is performed in the latent space encoded by a dedicated depth encoder and decoder. Instead of diffusing ground truth (GT) depth, the model learns to reverse the process of diffusing the refined depth of itself into random depth distribution. This self-diffusion formulation overcomes the difficulty of applying generative models to sparse GT depth scenarios. The proposed approach benefits this task by refining depth estimation step by step, which is superior for generating accurate and highly detailed depth maps. Experimental results on KITTI and NYU-Depth-V2 datasets suggest that a simple yet efficient diffusion approach could reach state-of-the-art performance in both indoor and outdoor scenarios with acceptable inference time.

연구 동기 및 목표

• 회귀 기반 단일 영상 깊이 추정의 한계, 즉 과적합과 낮은 세부 사항 복구 능력을 해결하기 위해 깊이 추정을 확산 노이즈 제거 과정으로 재구성한다.
• KITTI와 같은 데이터셋에서 흔히 볼 수 있는 희박한 진짜값 깊이 데이터로 학습할 때 생성 모델에서 발생하는 모드 붕괴 문제를 해결한다.
• 깊이 표현의 압축된 학습된 잠재 공간에서 노이즈 제거 과정을 수행함으로써 고해상도 깊이 예측을 가능하게 한다.
• 거시적이고 미세한 장면 구조를 모두 포착할 수 있도록 반복적인 정제 과정을 통해 깊이 맵 품질을 향상시킨다.
• 확산 모델이 생성 외의 3D 인식 작업, 특히 깊이 추정에 효과적으로 적용될 수 있음을 보여준다.

제안 방법

• 모델은 단일 영상 깊이 추정을 노이즈 제거 확산 과정으로 재구성하며, 단일 영상 시각 조건을 가이던스로 사용하여 임의의 깊이 분포를 반복적으로 정제하여 일관성 있는 깊이 맵으로 만든다.
• 노이즈 제거 과정은 전용 깊이 오토인코더에 의해 인코딩된 잠재 공간에서 수행되며, 이로 인해 계산 비용을 줄이고 고해상도 출력을 가능하게 한다.
• 자기 확산 학습 전략을 도입한다: 진짜값 깊이가 아닌 모델이 자체로 정제한 예측값에 점차 노이즈를 추가하고, 유효한 마스크를 통해 감독을 시행한다.
• 시각적 조건 가이던스는 시각 기반 모델(예: ResNet, Swin Transformer)의 다중 척도 특징을 계층적으로 융합하고, FPN를 통해 융합하여 각 단계의 노이즈 제거 블록을 가이던스한다.
• 잠재 공간에서 U-Net 유사 아키텍처를 사용하며, 노이즈 제거 과정 중에 시각적 특징을 참조하기 위해 교차 어텐션 메커니즘을 통합함으로써 정밀한 공간 정렬을 가능하게 한다.
• 일반화 및 불완전한 감독에 대한 강건성을 향상시키기 위해 훈련 중에 무작위 컷, 저자국, 플립 등의 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 기존에 회귀나 분류로 해결되던 단일 영상 깊이 추정 작업에 대해 확산 기반 생성 모델을 효과적으로 적용할 수 있는가?
• RQ2 희박한 진짜값 깊이 감독만 존재할 경우 확산 모델을 효과적으로 학습할 수 있는가? 특히 모드 붕괴 문제를 피할 수 있는가?
• RQ3 잠재 공간에서의 반복적 정제 과정은 종래의 엔드 투 엔드 회귀 방식보다 더 높은 해상도와 더 세밀한 깊이 맵을 생성하는 데 기여하는가?
• RQ4 희박한 진짜값 데이터에서 표준 확산 학습 방식에 비해 자기 확산 학습 전략의 성능 및 안정성은 어떻게 비교되는가?
• RQ5 제안된 방법은 다양한 시각 기반 모델과 깊이 감독 형식(예: bin 기반, 희박한 진짜값)과 얼마나 호환되는가?

주요 결과

• DiffusionDepth는 공식 오프라인 테스트 스플릿에서 NYU-Depth-V2 데이터셋에서 0.298 RMSE, KITTI 데이터셋에서 1.452 RMSE를 기록하며 새로운 최신 기술 수준(SOTA) 성능을 달성했다.
• 자기 확산 학습 전략은 희박한 진짜값 데이터에서 모드 붕괴를 효과적으로 방지했으며, 안정적인 수렴과 고품질 출력을 보여주었다. 반면 표준 확산 학습은 희박한 진짜값에서 성능이 저하되었다.
• RTX 3090 GPU를 사용하여 20단계의 노이즈 제거를 수행할 때, ResNet 기반에서는 14 FPS, Swin Transformer 기반에서는 5 FPS의 추론 속도를 확보하여 실시간 응용에 실용적임을 입증했다.
• 절단 실험 결과, 더 높은 해상도의 깊이 잠재 공간(×2 다운샘플링 비율)을 사용할 경우 ×4보다 略적으로 더 우수한 성능을 기록하여 공간적 세부 정보 유지의 중요성을 입증했다.
• 이 프레임워크는 CNN(Res34, Res50)과 트랜스포머(Swin)를 포함한 다양한 시각 기반 모델과 호환되며, 보다 추가적인 감독(예: BinsFormer의 bin 기반 예측)도 효과적으로 활용할 수 있다.
• 절단 실험 결과, 노이즈 제거 단계가 적을수록 성능 저하가 발생하지만, 특정 추론 단계(예: t=15)에 대해 미세조정을 수행할 경우 직접 추론보다 성능 향상을 보여주어 단계별 적응의 필요성을 확인했다.