[논문 리뷰] Self-Supervised Relative Depth Learning for Urban Scene Understanding

Huaizu Jiang, Erik Learned-Miller외 3명|arXiv (Cornell University)|2017. 12. 13.

Advanced Vision and Imaging참고 문헌 47인용 수 8

한 줄 요약

이 논문은 이동 중인 차량에서 촬영한 레이블이 없는 영상에서 깊이의 상대적 순서를 예측하도록 딥 네트워크를 훈련시켜 시각적 표현을 학습하기 위한 자기지도 학습 대체 과제를 제안한다. 운동 파라랄랙스와 운동 분할을 통한 기하학적 제약 조건을 활용함으로써, 인간 레이블이 전혀 필요 없이도 의미 있는 시각적 표현을 학습할 수 있으며, 일부 경우에서는 ImageNet-지도 학습 사전 훈련을 뛰어넘는 성능을 달성한다. 이는 의미 분할 및 단안 깊이 추정 과제에서 최고 수준의 성능을 기록한다.

ABSTRACT

As an agent moves through the world, the apparent motion of scene elements is (usually) inversely proportional to their depth. It is natural for a learning agent to associate image patterns with the magnitude of their displacement over time: as the agent moves, faraway mountains don't move much; nearby trees move a lot. This natural relationship between the appearance of objects and their motion is a rich source of information about the world. In this work, we start by training a deep network, using fully automatic supervision, to predict relative scene depth from single images. The relative depth training images are automatically derived from simple videos of cars moving through a scene, using recent motion segmentation techniques, and no human-provided labels. This proxy task of predicting relative depth from a single image induces features in the network that result in large improvements in a set of downstream tasks including semantic segmentation, joint road segmentation and car detection, and monocular (absolute) depth estimation, over a network trained from scratch. The improvement on the semantic segmentation task is greater than those produced by any other automatically supervised methods. Moreover, for monocular depth estimation, our unsupervised pre-training method even outperforms supervised pre-training with ImageNet. In addition, we demonstrate benefits from learning to predict (unsupervised) relative depth in the specific videos associated with various downstream tasks. We adapt to the specific scenes in those tasks in an unsupervised manner to improve performance. In summary, for semantic segmentation, we present state-of-the-art results among methods that do not use supervised pre-training, and we even exceed the performance of supervised ImageNet pre-trained models for monocular depth estimation, achieving results that are comparable with state-of-the-art methods.

연구 동기 및 목표

• 인간 레이블이 없는 조건에서 딥 네트워크가 의미 있는 시각적 표현을 학습할 수 있도록 자기지도 학습 대체 과제를 개발하는 것.
• 이동 중인 카메라에서 촬영한 레이블이 없는 영상 데이터만을 사용하여 도시 환경 이해 과제를 위한 사전 훈련에 도전하는 것.
• 비지도 사전 훈련을 통해 의미 분할, 동시 탐지, 단안 깊이 추정 등의 후행 과제 성능을 향상시키는 것.
• 자기지도 학습된 상대적 깊이 예측이 ImageNet 사전 훈련의 강력한 대안이 될 수 있는지, 특히 낮은 지도 학습 레이블 환경에서의 성능을 탐구하는 것.
• 특정 과제 영상(예: KITTI)을 사용한 자기지도 학습 사전 훈련을 통한 도메인 적응의 효과성을 조사하는 것.

제안 방법

• 이동 중인 차량에서 촬영한 레이블이 없는 YouTube 영상을 자기지도 학습 사전 훈련의 입력으로 활용한다.
• 운동 분할 기법을 적용하여 운동 장면을 추정하고, 카메라 운동과 장면 흐름 간의 기하학적 제약 조건을 통해 상대적 깊이를 복원한다.
• 각 픽셀의 장면 내 깊이 백분율을 나타내기 위해 상대적 깊이를 [0,1] 범위로 정규화하여 대체 지도 신호로 사용한다.
• 이 대체 레이블을 사용하여 단일 이미지에서 상대적 깊이를 예측하도록 완전 컨volution 네트워크(예: VGG16 또는 ResNet50)를 훈련시킨다.
• 소량의 인간 레이블 데이터만을 사용하여 후행 과제에서 사전 훈련된 네트워크를 미세 조정한다.
• 특정 데이터셋(예: KITTI)에 맞게 사전 훈련된 모델을 작업 전용 영상으로 사용한 비지도 도메인 적응을 통해 조정한다.

실험 결과

연구 질문

• RQ1 자기지도 학습된 방식으로 단일 이미지에서 상대적 깊이를 예측하는 것이 시각적 표현 학습을 위한 효과적인 대체 과제가 될 수 있는가?
• RQ2 상대적 깊이 기반 자기지도 사전 훈련이 무작위 또는 ImageNet 사전 훈련 대비 도메인 도시 환경 이해 과제에서 성능 향상에 기여하는가?
• RQ3 자기지도 사전 훈련이 단안 깊이 추정 및 의미 분할 과제에서 ImageNet 지도 학습 사전 훈련을 능가할 수 있는가?
• RQ4 작업 전용 레이블이 없는 영상(예: KITTI)에서의 미세 조정이 비지도 도메인 적응을 통해 성능 향상에 얼마나 기여하는가?
• RQ5 입력 영상에 움직이는 물체나 정확한 운동 방향이 없을 경우 이 방법의 안정성은 어느 정도인가?

주요 결과

• 제안된 자기지도 학습 상대적 깊이 사전 훈련 방법은 ImageNet 사전 훈련을 사용하지 않은 방법 중에서 의미 분할 과제에서 최고 수준의 성능을 기록하며, 도메인 적응을 통한 미세 조정 시 Cityscapes에서 평균 IoU가 0.983에 도달한다.
• 단안 깊이 추정 과제에서 이 방법은 ImageNet 사전 훈련을 능가하며, KITTI에서 테스트 RMSE가 4.903을 기록하여 ImageNet 사전 훈련 모델의 5.073보다 낮다.
• KITTI 영상에서 도메인 적응(Our CD+K)을 통한 미세 조정 시 ResNet50 모델은 RMSE 4.903과 mIoU 0.983을 기록하며, 기존 최고 성능 방법과 동등하거나 이를 초월한다.
• Cityscapes 및 KITTI를 포함한 여러 벤치마크에서 이 방법은 랜덤 초기화 모델과 ImageNet 사전 훈련 모델을 일관되게 능가한다.
• 상대적 깊이 예측 과제는 네트워크가 명시적 지도 없이도 기둥, 표지판과 같은 물체를 깊이 프로파일을 기반으로 구분할 수 있도록 의미 있는 특징을 유도함을 보여준다.
• 상대적 깊이를 절대 깊이로 변환하는 비선형성 때문에 이 과제는 비단순하며, 상대적 깊이를 간단히 스케일링했을 때 11.08의 RMSE가 발생함으로써 학습된 표현의 가치를 입증한다.