[논문 리뷰] Self-Supervised Learning of Depth and Camera Motion from 360° Videos

Fu-En Wang, Hou-Ning Hu외 6명|arXiv (Cornell University)|2018. 11. 13.

Advanced Vision and Imaging참고 문헌 28인용 수 11

한 줄 요약

이 논문은 등방위 투영의 왜곡을 제거하기 위해 큐브맵 투영을 사용하여 360° 영상에서 단안 깊이 및 카메라 운동 추정을 위한 자기지도 학습 방법을 제안한다. 구면 광학 일致성 손실과 자세 일치 손실을 도입하여 정확도를 향상시켜, 새로운 PanoSUNCG 데이터셋에서 최신 기술 수준의 성능을 달성하며, 등방위 기반 기준보다 빠른 추론 속도를 제공한다.

ABSTRACT

As 360° cameras become prevalent in many autonomous systems (e.g., self-driving cars and drones), efficient 360° perception becomes more and more important. We propose a novel self-supervised learning approach for predicting the omnidirectional depth and camera motion from a 360° video. In particular, starting from the SfMLearner, which is designed for cameras with normal field-of-view, we introduce three key features to process 360° images efficiently. Firstly, we convert each image from equirectangular projection to cubic projection in order to avoid image distortion. In each network layer, we use Cube Padding (CP), which pads intermediate features from adjacent faces, to avoid image boundaries. Secondly, we propose a novel "spherical" photometric consistency constraint on the whole viewing sphere. In this way, no pixel will be projected outside the image boundary which typically happens in images with normal field-of-view. Finally, rather than naively estimating six independent camera motions (i.e., naively applying SfM-Learner to each face on a cube), we propose a novel camera pose consistency loss to ensure the estimated camera motions reaching consensus. To train and evaluate our approach, we collect a new PanoSUNCG dataset containing a large amount of 360° videos with groundtruth depth and camera motion. Our approach achieves state-of-the-art depth prediction and camera motion estimation on PanoSUNCG with faster inference speed comparing to equirectangular. In real-world indoor videos, our approach can also achieve qualitatively reasonable depth prediction by acquiring model pre-trained on PanoSUNCG.

연구 동기 및 목표

• 자율주행 시스템에서 360° 영상에 대한 효과적인 깊이 및 운동 추정 방법의 부족을 해결하기 위해.
• 광범위한 영상 처리에서 발생하는 등방위 투영의 기하학적 왜곡을 극복하기 위해.
• 명시적 지도 없이 영상 시퀀스만을 활용하는 자기지도 학습 프레임워크를 개발하기 위해.
• 360° 영상의 구면 기하학을 활용하여 깊이 및 운동 추정 정확도를 향상시키기 위해.
• 로봇 및 자율주행 시스템에 구현 가능한 실시간 추론이 가능한 효율적인 솔루션을 제공하기 위해.

제안 방법

• 360° 등방위 영상을 큐브맵 투영으로 변환하여 왜곡을 줄이고 특징 학습 효율성을 향상시키기 위해.
• 네트워크 추론 중 인접한 큐브 면 간의 특징 경계를 처리하기 위해 큐브 패딩(CP)을 도입하기 위해.
• 전체 시야 구면에서 재구성 오차를 계산하는 구면 광학 일치성 손실을 제안하여 경계 투영 문제를 피하기 위해.
• 여섯 면에 걸쳐 자세 일치를 강제하는 새로운 카메라 자세 일치 손실을 설계하여 운동 추정의 강인성을 향상시키기 위해.
• 영상 프레임에서 자기지도 학습을 사용하여 광학 재구성 오차를 최소화함으로써 모델을 종단 간(end-to-end)으로 훈련시키기 위해.
• 실제 360° 영상에 대해 사전 훈련된 모델을 미세조정하여 제로샷 일반화를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 구면 기하학을 가진 360° 영상에 대해 자기지도 학습 기반의 깊이 및 운동 추정을 효과적으로 확장할 수 있는가?
• RQ2 정확도 및 추론 속도 측면에서 큐브맵 기반 처리 방식은 등방위 처리 방식보다 어떻게 비교되는가?
• RQ3 구면 광학 일치성 손실은 360° 영상 작업에서 전통적인 평면 손실보다 우월한 성능을 보일 수 있는가?
• RQ4 큐브 면 간에 자세 일치를 강제하면 운동 추정의 강인성이 향상되는가?
• RQ5 합성 데이터로 사전 훈련된 모델은 실세계 360° 영상 시나리오로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 PanoSUNCG 데이터셋에서 최신 기술 수준의 깊이 예측 성능을 달성하였으며, 절대 상대 오차(Abs Rel)는 0.337을 기록하였다.
• RMSE는 8.589로 감소하였고, δ<1.25 지표는 0.647로 향상되어 모든 임계값에서 더 높은 깊이 정확도를 보였다.
• 카메라 운동 추정은 회전 오차 6.98° 및 이동 오차 0.025를 기록하여 기준 기반 모델 및 분석 변형보다 뛰어난 성능을 보였다.
• 구면 광학 일치성 손실과 자세 일치성 손실을 모두 포함한 전체 모델은 이러한 구성 요소가 없는 분석 변형보다 유의미하게 뛰어난 성능을 보였다.
• 큐브맵 표현으로 인한 계산 부담 감소로 인해 고해상도에서 기준 등방위 기반 모델 대비 추론 속도가 200% 이상 빨라졌다.
• 모델은 RICOH THETA V 기록 영상에 대해 미세조정을 거친 후 실세계 360° 영상에 대해 잘 일반화되어 있으며, 정성적으로 타당한 깊이 예측을 생성하였다.