[논문 리뷰] Embodied View-Contrastive 3D Feature Learning.

Adam W. Harley, Fangyu Li외 4명|arXiv (Cornell University)|2019. 06. 10.

Advanced Vision and Imaging인용 수 2

한 줄 요약

이 논문은 3D 시각 인식 성능을 향상시키기 위해 시점 대비 예측을 이용한 자기지도 학습 3D 특징 학습 프레임워크를 제안한다. 움직이는 카메라 영상 스트림을 활용하여 모델은 장면의 내용을 카메라 운동으로부터 분리하고, 3D 특징을 새로운 시점으로 투영하며, 대비 손실을 사용하여 강건한 표현을 학습한다. 이로 인해 준지도 학습 및 비지도 학습 3D 객체 탐지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Predictive coding theories suggest that the brain learns by predicting observations at various levels of abstraction. One of the most basic prediction tasks is view prediction: how would a given scene look from an alternative viewpoint? Humans excel at this task. Our ability to imagine and fill in missing information is tightly coupled with perception: we feel as if we see the world in 3 dimensions, while in fact, information from only the front surface of the world hits our retinas. This paper explores the role of view prediction in the development of 3D visual recognition. We propose neural 3D mapping networks, which take as input 2.5D (color and depth) video streams captured by a moving camera, and lift them to stable 3D feature maps of the scene, by disentangling the scene content from the motion of the camera. The model also projects its 3D feature maps to novel viewpoints, to predict and match against target views. We propose contrastive prediction losses to replace the standard color regression loss, and show that this leads to better performance on complex photorealistic data. We show that the proposed model learns visual representations useful for (1) semi-supervised learning of 3D object detectors, and (2) unsupervised learning of 3D moving object detectors, by estimating the motion of the inferred 3D feature maps in videos of dynamic scenes. To the best of our knowledge, this is the first work that empirically shows view prediction to be a scalable self-supervised task beneficial to 3D object detection.

연구 동기 및 목표

• 시점 예측이 3D 시각 인식을 위한 확장 가능한 자기지도 사전 훈련 과제로 기능할 수 있는지 조사하기 위해.
• 2.5D 영상 스트림(색상 및 깊이)에서 장면의 내용을 카메라 운동으로부터 분리하는 신경망 3D 매핑 네트워크를 개발하기 위해.
• 표준 색상 회귀 대신 대비 예측 손실을 사용하여 3D 특징 표현 학습을 향상시키기 위해.
• 학습된 특징을 준지도 학습 3D 객체 탐지 및 비지도 학습 3D 이동 객체 탐지와 같은 후행 작업에서 평가하기 위해.

제안 방법

• 모델은 움직이는 카메라에서 온 단안 2.5D 영상 스트림(RGB 및 깊이)을 입력으로 사용한다.
• 신경망 3D 매핑 네트워크를 사용하여 동적 카메라 운동으로부터 정적 장면 내용을 분리함으로써 3D 특징 맵을 예측한다.
• 학습된 3D 특징을 새로운 시점으로 투영하고, 대비 예측 손실을 사용하여 실제 타겟 시점과 비교한다.
• 표준 픽셀 단위의 색상 회귀 대신 대비 손실을 사용하여 특징 학습의 분류 능력과 일반화 능력을 향상시킨다.
• 복잡한 사진적 정확도를 가진 데이터에서 특징 품질을 향상시키기 위해 대비 예측 목표를 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 시간적 변화를 분석함으로써 동적 장면에서 운동 추정을 수행하고, 이로 인해 비지도 학습을 통한 이동 객체 탐지가 가능해진다.

실험 결과

연구 질문

• RQ1 시점 예측은 3D 시각 인식을 위한 확장 가능한 자기지도 사전 훈련 과제로 기능할 수 있는가?
• RQ2 새로운 시점에 대한 대비 예측은 표준 색상 회귀보다 더 나은 3D 특징 표현을 이끌어낼 수 있는가?
• RQ3 학습된 3D 특징은 준지도 학습 3D 객체 탐지 성능을 향상시킬 수 있는가?
• RQ4 3D 특징 맵에서 운동을 분석함으로써 모델은 비지도 학습을 통해 3D 장면에서 이동 객체를 탐지할 수 있는가?

주요 결과

• 제안된 시점 대비 학습 방법은 사진적 정확도를 가진 데이터에서 강건한 3D 시각 표현을 학습하는 데 있어 표준 색상 회귀 손실보다 뛰어난 성능을 보였다.
• 자기지도 사전 훈련을 활용하여 준지도 학습 3D 객체 탐지에서 최신 기술 수준의 성능을 달성했다.
• 3D 특징 맵에서 운동을 추정함으로써 비지도 학습 3D 이동 객체 탐지가 가능해졌으며, 이는 학습된 표현의 유용성을 입증했다.
• 장면 내용과 카메라 운동의 분리로 인해 단안 영상 스트림에서도 안정적인 3D 특징 맵 구축이 가능해졌다.
• 대비 예측 손실은 회귀 기반 지도 학습 대비 더 분류 능력이 뛰어나고 일반화 능력이 뛰어난 특징을 이끌어냈다.
• 이 프레임워크는 시점 예측이 3D 객체 탐지에 대해 확장 가능하고 유익한 자기지도 과제임을 실증적으로 처음으로 입증했다.