[논문 리뷰] Geometry meets semantics for semi-supervised monocular depth estimation

Pierluigi Zama Ramirez, Matteo Poggi외 3명|arXiv (Cornell University)|2018. 10. 09.

Advanced Vision and Imaging참고 문헌 38인용 수 12

한 줄 요약

이 논문은 영상 왜곡에서 유도된 기하학적 정보와 픽셀 수준의 주석에서 유도된 의미 정보를 활용하여 단안 영상의 깊이와 의미 세분화를 동시에 예측하는 준지도 학습 딥 러닝 프레임워크를 제안한다. 깊이와 세분화를 위한 공유 인코더와 이중 디코더 간의 특징 공유를 통해 KITTI 데이터셋에서 깊이 추정 정확도를 향상시켰으며, 훈련 시에는 의미 주석만을 사용함으로써 최신 비지도 학습 방법들을 능가한다.

ABSTRACT

Depth estimation from a single image represents a very exciting challenge in computer vision. While other image-based depth sensing techniques leverage on the geometry between different viewpoints (e.g., stereo or structure from motion), the lack of these cues within a single image renders ill-posed the monocular depth estimation task. For inference, state-of-the-art encoder-decoder architectures for monocular depth estimation rely on effective feature representations learned at training time. For unsupervised training of these models, geometry has been effectively exploited by suitable images warping losses computed from views acquired by a stereo rig or a moving camera. In this paper, we make a further step forward showing that learning semantic information from images enables to improve effectively monocular depth estimation as well. In particular, by leveraging on semantically labeled images together with unsupervised signals gained by geometry through an image warping loss, we propose a deep learning approach aimed at joint semantic segmentation and depth estimation. Our overall learning framework is semi-supervised, as we deploy groundtruth data only in the semantic domain. At training time, our network learns a common feature representation for both tasks and a novel cross-task loss function is proposed. The experimental findings show how, jointly tackling depth prediction and semantic segmentation, allows to improve depth estimation accuracy. In particular, on the KITTI dataset our network outperforms state-of-the-art methods for monocular depth estimation.

연구 동기 및 목표

• 비지도 학습 프레임워크에 의미 이해를 통합하여 단안 깊이 추정을 향상시키기 위해.
• 비용이 많이 드는 깊이 주석에 대한 의존도를 줄이기 위해 훈련 시에는 오직 의미 세분화 주석만을 사용하기 위해.
• 깊이 예측과 의미 세분화를 함께 훈련함으로써 유도되는 상호보완적 이점을 탐색하기 위해.
• 깊이 예측은 영상 왜곡을 통한 자기지도 학습이고 의미 정보는 진짜 주석을 통한 지도 학습인 준지도 학습 프레임워크를 개발하기 위해.
• 다중 작업 학습에서 유도되는 더 풍부한 특징 표현이 깊이 추정 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 깊이와 의미 세분화 헤드 간의 특징을 공유하는 단일 인코더/이중 디코더 아키텍처를 사용한다.
• 깊이 헤드는 스테레오 또는 움직이는 카메라 기하학에 기반한 비지도 영상 왜곡 손실을 사용하여 훈련된다.
• 의미 세분화 헤드는 픽셀 수준의 진짜 주석을 사용하여 훈련된다.
• 깊이와 의미 경계를 정렬하기 위해 새로운 교차 도메인 불연속 손실을 도입하였다.
• 깊이와 의미 지도 학습을 균형 잡는 병합된 손실 함수를 사용하여 네트워크를 공동 최적화한다.
• 특징 표현을 작업 간에 공유함으로써 의미에서 깊이 추정으로 지식 전이가 가능해진다.

실험 결과

연구 질문

• RQ1 의미 세분화와 단안 깊이 추정을 함께 훈련하면 깊이 추정 정확도가 향상되는가?
• RQ2 준지도 설정에서 의미 지도 학습을 통합하면 순수 기하 자기지도 학습을 넘어서 깊이 예측 성능이 향상되는가?
• RQ3 의미 경계 통합이 특히 물체 경계 근처에서 깊이 맵 품질을 어떻게 향상시키는가?
• RQ4 제안된 방법이 최신 비지도 단안 깊이 추정 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 단일 모델이 어느 정도의 성능을 동시에 달성할 수 있으며, 이로 인해 한 가지 작업의 성능이 손상되지 않는가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 최신 비지도 단안 깊이 추정 모델 [1]을 능가한다.
• 정성적 결과는 자동차와 기둥과 같은 얇은 구조물과 같은 도전적인 물체에서 깊이 추정 성능 향상을 보여준다.
• 의미 지도 학습 덕분에 반사성 또는 투명한 표 superficies, 예를 들어 자동차 유리와 같은 곳에서 더 정확한 깊이 맵을 생성한다.
• VGG와 ResNet50 인코더를 사용할 때 의미 세분화의 픽셀 단위 정확도는 각각 88.51%와 88.19%를 기록한다.
• 깊이 추정 성능 향상에도 불구하고 의미 세분화 정확도는 여전히 최신 기술 수준 이하이므로 아키텍처 개선 여지가 있다.
• 교차 도메인 불연속 손실은 깊이와 의미 경계를 효과적으로 정렬하여 예측의 경계 일致성을 향상시킨다.