[논문 리뷰] Learning from Unlabelled Videos Using Contrastive Predictive Neural 3D Mapping

Adam W. Harley, Shrinidhi Kowshika Lakshmikanth외 4명|arXiv (Cornell University)|2019. 06. 10.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 대조적 예측 손실을 통해 비라벨링된 RGB-D 영상에서 3D 시각적 표현을 학습하는 자기지도 학습 신경망 3D 매핑 프레임워크를 제안한다. 자동차의 이동에 의해 영향을 받지 않는 안정적인 3D 특징 맵을 생성하고, 대조적 학습을 통해 반도체 3D 객체 검출 성능을 향상시키며, 라벨이 없는 3D 이동 객체 검출을 가능하게 한다. 이는 복잡한 사진처럼 생긴 데이터에서 회귀 및 VAE 기반 기준 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Predictive coding theories suggest that the brain learns by predicting observations at various levels of abstraction. One of the most basic prediction tasks is view prediction: how would a given scene look from an alternative viewpoint? Humans excel at this task. Our ability to imagine and fill in missing information is tightly coupled with perception: we feel as if we see the world in 3 dimensions, while in fact, information from only the front surface of the world hits our retinas. This paper explores the role of view prediction in the development of 3D visual recognition. We propose neural 3D mapping networks, which take as input 2.5D (color and depth) video streams captured by a moving camera, and lift them to stable 3D feature maps of the scene, by disentangling the scene content from the motion of the camera. The model also projects its 3D feature maps to novel viewpoints, to predict and match against target views. We propose contrastive prediction losses to replace the standard color regression loss, and show that this leads to better performance on complex photorealistic data. We show that the proposed model learns visual representations useful for (1) semi-supervised learning of 3D object detectors, and (2) unsupervised learning of 3D moving object detectors, by estimating the motion of the inferred 3D feature maps in videos of dynamic scenes. To the best of our knowledge, this is the first work that empirically shows view prediction to be a scalable self-supervised task beneficial to 3D object detection.

연구 동기 및 목표

• 대조적 학습을 통한 시점 예측이 3D 시각 인식을 위한 확장 가능한 자기지도 사전 학습 목표로 기능할 수 있는지 조사하기.
• 카메라 움직임에서 장면의 내용을 분리하는 신경망 3D 매핑 네트워크를 개발하여 2.5D 영상 입력에서 안정적인 3D 특징 맵을 생성하기.
• 학습된 표현을 후속 작업, 즉 반자율 3D 객체 검출 및 라벨 없이도 3D 이동 객체 검출에 평가하기.
• 시뮬레이션에서 학습된 3D 표현이 실제 세계 데이터로의 이식 가능성 입증하기.

제안 방법

• 모델은 3D 특징 볼륨을 중심 기억장치로 사용하며, 이는 이동 가능한, 카메라의 이동에 안정적인 특징 투영 메커니즘을 통해 업데이트된다.
• 모델은 감독 학습 기반의 CNN 헤드를 사용해 카메라의 이동을 추정함으로써, 카메라의 움직임에도 불구하고 3D 특징을 안정화시킨다.
• 네트워크는 3D 특징 맵을 다른 시점으로 투영하고, 이를 실제 목표 시점과 비교함으로써 새로운 시점을 예측한다.
• 표준 RGB 회귀 대신, 예측된 시점 특징과 목표 시점 특징 간의 대조 손실을 사용한다.
• 모든 파이프라인, 즉 이동 추정 및 시점 예측을 포함한 백프로파게이션을 통해 종단 간(end-to-end)으로 네트워크를 훈련시킨다.
• 라벨 없이 3D 이동 객체 검출을 위해, 모델은 연속적인 3D 특징 볼륨 간의 3D 운동장을 추정하고, 운동을 객체 인스턴스로 군집화한다.

실험 결과

연구 질문

• RQ1 비라벨링된 RGB-D 영상에서 대조적 시점 예측이 표준 RGB 회귀나 VAE 기반 방법보다 더 나은 3D 시각 표현을 만들어낼 수 있는가?
• RQ2 이동에 안정적인 3D 특징 맵이 차폐된 영역 뒤의 정확한 3D 장면 재구성 및 보완을 가능하게 하는가?
• RQ3 시점 대조 예측을 통한 사전 학습이, 특히 라벨이 제한된 경우 반자율 3D 객체 검출 성능 향상에 기여하는가?
• RQ4 라벨이 없는 3D 이동 객체 검출이 3D 특징 공간 내 운동만을 기반으로 가능할 수 있는가?
• RQ5 시뮬레이션에서 학습된 3D 표현이 실제 세계의 3D 객체 검출에 일반화될 수 있는가?

주요 결과

• 대조적 예측 손실은 특히 라벨이 적은 환경에서 RGB 회귀 및 VAE 기반 기준 모델보다 반자율 3D 객체 검출에서 더 뛰어난 성능을 보였다.
• 모델은 모든 공간 유형에서 점유도 분류 정확도 98%를 달성하여 효과적인 3D 장면 보완 및 표현 학습을 입증했다.
• 이동 추정 오차는 최신 SLAM 및 CNN 기반 기준 모델과 유사했으며, 각각 자세 오차 0.120 rad, 이동 오차 0.036 m를 기록했다.
• 모델은 3D 운동장을 군집화함으로써 라벨 없이도 3D 이동 객체 검출을 가능하게 했으며, 2.5D 기준 모델 및 반복적 VAE보다 뛰어난 성능을 보였다.
• 시뮬레이션에서의 시점 대조 사전 학습은 실제 세계 데이터에서 3D 객체 검출 성능을 크게 향상시켜 강력한 이식 가능성(transferability)을 입증했다.