[논문 리뷰] Rethinking Monocular Depth Estimation with Adversarial Training

Richard J. Chen, Faisal Mahmood외 2명|arXiv (Cornell University)|2018. 08. 22.

Advanced Vision and Imaging참고 문헌 61인용 수 39

한 줄 요약

이 논문은 단일 영상에서 깊이 추정을 위한 조건부 GAN 프레임워크를 제안하며, 전통적인 픽셀 단위 손실 함수 대신 패치 수준의 적대적 손실을 도입하여 맥락 인식 능력과 구조적 세부 정보를 향상시킨다. 생성자 모델이 현실적인 깊이 맵을 생성하고, 구분자 모델이 진짜와 생성된 깊이 패치를 구분하도록 훈련시킴으로써, NYUv2, Make3D, KITTI 데이터셋에서 최신 기준 성능을 달성하며, 이전 방법 대비 상대 오차를 수 배 감소시킨다.

ABSTRACT

Monocular depth estimation is an extensively studied computer vision problem with a vast variety of applications. Deep learning-based methods have demonstrated promise for both supervised and unsupervised depth estimation from monocular images. Most existing approaches treat depth estimation as a regression problem with a local pixel-wise loss function. In this work, we innovate beyond existing approaches by using adversarial training to learn a context-aware, non-local loss function. Such an approach penalizes the joint configuration of predicted depth values at the patch-level instead of the pixel-level, which allows networks to incorporate more global information. In this framework, the generator learns a mapping between RGB images and its corresponding depth map, while the discriminator learns to distinguish depth map and RGB pairs from ground truth. This conditional GAN depth estimation framework is stabilized using spectral normalization to prevent mode collapse when learning from diverse datasets. We test this approach using a diverse set of generators that include U-Net and joint CNN-CRF. We benchmark this approach on the NYUv2, Make3D and KITTI datasets, and observe that adversarial training reduces relative error by several fold, achieving state-of-the-art performance.

연구 동기 및 목표

• 지역적 픽셀 단위 손실 함수의 한계를 해결하기 위해, 고차 통계 및 전반적 맥락을 포착하지 못하는 기존 방법의 문제점을 해결한다.
• 적대적 훈련을 통해 비국소적 맥락 인식 손실 함수를 통합하여 깊이 추정 정확도를 향상시킨다.
• U-Net 및 CNN-CRF 모델을 포함한 다양한 아키텍처에 대해 적대적 훈련의 효과를 입증한다.
• 다양한 데이터셋에서 모드 붕괴를 방지하기 위해 스펙트럼 정규화를 사용하여 훈련을 안정화시킨다.
• NYUv2, Make3D, KITTI와 같은 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

제안 방법

• 프레임워크는 생성자가 RGB 이미지를 깊이 맵으로 매핑하고, 구분자가 깊이 패치의 현실성 여부를 평가하는 조건부 GAN 아키텍처를 사용한다.
• 구분자는 예측된 깊이 패치를 진짜(실제 값) 또는 가짜(생성된 값)로 분류하도록 훈련되어 생성자가 더 현실적인 깊이 구성 방식을 생성하도록 유도한다.
• 패치 수준의 적대적 손실을 사용하여 개별 픽셀이 아닌 깊이 값의 동시 구성에 대해 손실을 부과함으로써, 전반적인 장면 구조를 더 잘 모델링할 수 있도록 한다.
• 다양한 데이터셋에서 적대적 학습 중 모드 붕괴를 방지하기 위해 스펙트럼 정규화를 적용하여 훈련을 안정화시킨다.
• 두 가지 생성자 아키텍처(U-Net 및 공동 CNN-CRF)를 사용하여 다양한 네트워크 설계에 대한 분석(ablation)을 수행한다.
• 훈련 과정에서 랜덤 컷 및 수평 반전 등의 데이터 증강 기법을 사용하였으며, NYUv2, Make3D, KITTI의 표준 분할 데이터셋을 기반으로 평가하였다.

실험 결과

연구 질문

• RQ1 패치 수준의 구분자로 적대적 훈련을 수행할 경우, 국소적 픽셀 단위 손실을 넘어서 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 U-Net 및 CNN-CRF와 같은 다양한 생성자 아키텍처에 대해 적대적 훈련을 적용했을 때 성능에 어떤 영향을 미치는가?
• RQ3 비국소적 적대적 손실을 포함함으로써, 기존의 L1/L2 손실 대비 더 선명하고 맥락적으로 정확한 깊이 예측이 가능해지는가?
• RQ4 스펙트럼 정규화가 다양한 실세계 데이터셋에서 깊이 추정을 위한 적대적 훈련을 효과적으로 안정화시킬 수 있는가?
• RQ5 적대적 훈련이 NYUv2, Make3D, KITTI와 같은 표준 벤치마크에서 상대 오차를 얼마나 줄이고 정확도를 향상시키는가?

주요 결과

• 적대적 U-Net은 NYUv2에서 상대 오차 0.114, Make3D에서 0.0646, KITTI에서 0.061을 기록하여 Xu 등 [57]의 최신 기준 성능을 초월하였다.
• 비적대적 U-Net 대비 적대적 U-Net은 특히 전경 및 배경 객체에서 더 선명한 윤곽선 세부 정보를 제공하고 뿌연 현상(blurriness)을 감소시켰다.
• 모든 데이터셋에서 상대 오차가 수 배 감소하여, 기준 모델 대비 상당한 성능 향상을 입증하였다.
• 적대적 CNN-CRF는 상대 오차 향상이 미미했고, 높은 임계값에서 정확도가 감소한 것으로 보이며, 이는 슈퍼 픽셀 수준의 손실과 작은 훈련 세트 때문일 가능성이 높다.
• 정성적 결과 분석에서 적대적 훈련은 복잡한 장면에서 특히 구조 일관성과 현실감 있는 깊이 예측을 향상시켰다.
• NYUv2, Make3D, KITTI에서 최신 기준 성능을 달성하여, 맥락 인식 가능한 깊이 추정을 위한 패치 수준의 적대적 손실의 효과를 입증하였다.