[논문 리뷰] Semi-Supervised Adversarial Monocular Depth Estimation

Rongrong Ji, Ke Li외 7명|arXiv (Cornell University)|2019. 08. 06.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 소수의 이미지-깊이 쌍과 많은 수의 레이블이 없는 RGB 이미지를 활용하여 최신 기술 수준의 성능을 달성하는 반감독 학습 기반의 단안 깊이 추정 프레임워크를 제안한다. 깊이 예측을 위한 생성기와 이미지-깊이 쌍의 진짜성을 평가하는 디스커미네이터, 그리고 깊이 맵 품질을 평가하는 다른 디스커미네이터를 사용함으로써, 레이블이 제한된 경우에도 정확도를 크게 향상시켜 NYUv2, Make3D 및 도메인 적응 시나리오에서 감독 기반 기준 모델을 능가한다.

ABSTRACT

In this paper, we address the problem of monocular depth estimation when only a limited number of training image-depth pairs are available. To achieve a high regression accuracy, the state-of-the-art estimation methods rely on CNNs trained with a large number of image-depth pairs, which are prohibitively costly or even infeasible to acquire. Aiming to break the curse of such expensive data collections, we propose a semi-supervised adversarial learning framework that only utilizes a small number of image-depth pairs in conjunction with a large number of easily-available monocular images to achieve high performance. In particular, we use one generator to regress the depth and two discriminators to evaluate the predicted depth , i.e., one inspects the image-depth pair while the other inspects the depth channel alone. These two discriminators provide their feedbacks to the generator as the loss to generate more realistic and accurate depth predictions. Experiments show that the proposed approach can (1) improve most state-of-the-art models on the NYUD v2 dataset by effectively leveraging additional unlabeled data sources; (2) reach state-of-the-art accuracy when the training set is small, e.g., on the Make3D dataset; (3) adapt well to an unseen new dataset (Make3D in our case) after training on an annotated dataset (KITTI in our case).

연구 동기 및 목표

• 단안 깊이 추정을 위해 대규모이자 고비용인 이미지-깊이 쌍 데이터셋에 대한 의존도를 줄이기 위해.
• 실제 깊이 맵의 수가 제한된 경우 깊이 추정 정확도를 향상시키기 위해.
• 풍부하고 쉽게 확보할 수 있는 레이블이 없는 RGB 이미지를 활용하여 모델의 일반화 능력과 성능을 향상시키기 위해.
• 레이블이 있는 소스 도메인(예: KITTI)에서 레이블이 없는 타겟 도메인(예: Make3D)으로 효과적인 도메인 적응을 가능하게 하기 위해.
• 다양한 깊이 추정 생성기 아키텍처와 호환 가능한 유연한 프레임워크를 개발하기 위해.

제안 방법

• 이중 디스커미네이터 피드백을 제공하는 생성적 적대적 네트워크(GAN) 프레임워크를 설계하였으며, 하나의 생성기는 깊이 회귀를 위해 사용되고, 두 개의 디스커미네이터는 피드백을 제공한다.
• 쌍 디스커미네이터는 실제 쌍과 가짜 쌍을 구분함으로써 예측된 이미지-깊이 쌍의 진실성 여부를 평가한다.
• 깊이 디스커미네이터는 예측된 깊이 맵의 타당성만 평가하여 실제 깊이 맵의 분포와 일치하는지 확인한다.
• 생성기는 두 디스커미네이터의 손실를 통합하여 학습되며, 베이지안 사후분포를 시뮬레이션한다: p(d|I) ∝ p(I|d)p(d).
• 레이블이 없는 RGB 이미지는 학습 중에 생성기의 입력과 디스커미네이터의 피드백을 제공하기 위해 사용되며, 실제 깊이 정보가 필요하지 않다.
• 이 프레임워크는 Laina 등 [2] 또는 Eigen 등 [1]의 연구에서 제안한 최신 기술 수준의 깊이 추정 생성기 아키텍처와도 호환된다.

실험 결과

연구 질문

• RQ1 소수의 레이블이 있는 이미지-깊이 쌍만 존재할 경우 반감독 GAN 프레임워크가 단안 깊이 추정 정확도를 향상시킬 수 있는가?
• RQ2 추가적인 감독 신호 없이도 레이블이 없는 RGB 이미지가 깊이 예측 성능 향상에 얼마나 효과적으로 기여하는가?
• RQ3 제안된 적대적 프레임워크는 KITTI에서 Make3D로의 도메인 적응과 같이 타겟 도메인 레이블 없이도 새로운 데이터셋에 일반화 가능한가?
• RQ4 이중 디스커미네이터 설계—이미지-깊이 쌍과 깊이 맵을 모두 평가함—은 단일 디스커미네이터 또는 감독 기반 기준 모델보다 더 나은 깊이 품질을 제공하는가?
• RQ5 레이블 데이터가 풍부해질 경우 반감독 접근법의 성능 한계는 무엇인가?

주요 결과

• NYUv2 데이터셋에서 제안된 방법은 추가로 확보한 레이블이 없는 이미지를 활용하여 기존 최신 기술 수준의 모델 성능을 향상시켜 더 낮은 오차율을 달성한다.
• 제한된 학습 데이터를 가진 Make3D 데이터셋에서, 이 방법은 완전히 감독 기반 기준 모델을 능가하는 최신 기술 수준의 정확도를 달성한다.
• KITTI에서 Make3D로의 도메인 적응 시나리오에서, KITTI 이미지-깊이 쌍과 400장의 레이블이 없는 Make3D 이미지를 사용해 학습한 모델은 상대 오차(rel)가 0.447로 감독 기반 모델보다 유의미하게 뛰어나다.
• 어떤 경우에는 실제 깊이 맵보다 더 자연스러운 보기에 가까운 깊이 맵을 생성한다. 이는 실제 깊이 맵이 흔히 희소하고 레이아웃 복원이 필요하기 때문이다.
• 충분한 레이블 데이터가 이미 존재할 경우 성능 향상이 이루어지지 않아, 반감독 학습의 가정이 레이블이 부족할 때에만 레이블이 없는 데이터가 도움이 된다는 것을 확인한다.
• 킨ect 센서에서 유래한 잘못된 깊이 주석으로 인해 유리 및 거울 영역에서 성능이 떨어진다.