[논문 리뷰] Web Stereo Video Supervision for Depth Prediction from Dynamic Scenes

Chaoyang Wang, Simon Lucey외 2명|arXiv (Cornell University)|2019. 04. 25.

Advanced Vision and Imaging참고 문헌 39인용 수 6

한 줄 요약

이 논문은 웹에서 크롤링한 스테레오 영상 데이터를 약한 지도 신호로 사용하여, 카메라 내부 파rameter나 기준 거리가 알려지지 않은 동적 비강체 환경에서 단안 영상의 깊이 예측을 위한 데이터 기반 방법을 제안한다. 기존의 카메라 내부 파rameter나 기준 거리를 필요로 하지 않는 새로운 정규화 다중스케일 기울기 손실을 도입함으로써, 순차적인 프레임에서 정확한 깊이를 예측할 수 있도록 모델을 학습시켰으며, 이는 이동하는 사람과 같은 비강체 환경에서 기존의 단일 영상 기반 방법과 다중 시점 접근법보다 뛰어난 성능을 보였다.

ABSTRACT

We present a fully data-driven method to compute depth from diverse monocular video sequences that contain large amounts of non-rigid objects, e.g., people. In order to learn reconstruction cues for non-rigid scenes, we introduce a new dataset consisting of stereo videos scraped in-the-wild. This dataset has a wide variety of scene types, and features large amounts of nonrigid objects, especially people. From this, we compute disparity maps to be used as supervision to train our approach. We propose a loss function that allows us to generate a depth prediction even with unknown camera intrinsics and stereo baselines in the dataset. We validate the use of large amounts of Internet video by evaluating our method on existing video datasets with depth supervision, including SINTEL, and KITTI, and show that our approach generalizes better to natural scenes.

연구 동기 및 목표

• 강체가 아닌 동적 환경에서 기하학적 방법이 비강체성으로 인해 실패하는 깊이 예측 문제를 해결하기 위해.
• 기존의 데이터 기반 방법이 강체 환경이나 단일 영상에 의존하는 한계를 극복하고, 영상의 시간적 및 기하적 특징을 활용하기 위해.
• 알 수 없는 카메라 내부 파rameter와 기준 거리가 존재하는 캘리브레이션되지 않은 인터넷 기반 스테레오 영상 데이터를 지도 신호로 사용하는 학습 프레임워크를 개발하기 위해.
• 실제 비강체 환경에서의 학습을 지원하기 위해 대규모이자 다양한 장면을 포함한 실외 환경의 스테레오 영상 데이터셋을 구축하기 위해.

제안 방법

• 다양한 장면과 사람과 같은 비강체 물체가 풍부한 실외에서 수집한 웹 크롤링 스테레오 영상 데이터셋(150만 프레임)을 대규모로 사용한다.
• 스테레오 영상에서 시차 맵을 계산하고, 이를 깊이 예측 네트워크 학습을 위한 약한 지도 신호로 활용한다.
• 시차의 기울기와 역깊이의 기울기 간 기하학적 관계를 활용하여, 캘리브레이션되지 않은 데이터에서도 학습이 가능하도록 새로운 정규화 다중스케일 기울기 손실을 제안한다.
• 네트워크는 두 개의 순차적인 단안 영상과 옵티컬 플로우를 입력으로 받아, 단일 영상의 의미적 정보와 운동에 기반한 기하적 정보를 통합한다.
• 손실 함수는 상대적 깊이 거리의 유지와 더불어, 순서 기반 손실보다 더 매끄럽고 정확한 깊이 맵 생성을 위해 설계되었다.
• 모델은 엔드 투 엔드로 학습되며, KITTI나 Sintel과 같은 실제 데이터셋에 대해 카메라 캘리브레이션 없이도 잘 일반화된다.

실험 결과

연구 질문

• RQ1 캘리브레이션되지 않은 인터넷 기반 스테레오 영상 데이터로 학습된 데이터 기반 모델이 실제 비강체 환경에서 깊이 예측에 일반화 가능한가?
• RQ2 카메라 내부 파rameter와 기준 거리가 영상 시퀀스 간에 알려지지 않거나 변동성이 있는 상황에서 깊이 예측은 어떻게 지도 학습이 가능한가?
• RQ3 옵티컬 플로우와 순차적 프레임에서의 시간적 정보를 통합할 경우, 단일 영상 기반 기준 모델 대비 비강체 환경에서 깊이 예측 성능이 향상되는가?
• RQ4 상대적 깊이 차이를 유지하는 손실 함수가 캘리브레이션되지 않은 환경에서 순서 기반 또는 척도 불변 손실 함수보다 우수한 성능을 낼 수 있는가?
• RQ5 복잡한 인간 운동이 존재하는 상황에서, 이 모델의 성능은 강체 및 비강체 환경에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 제안된 방법은 KITTI 보행자 서브셋에서 MegaDepth나 RedWeb와 같은 단일 영상 기반 깊이 예측 모델보다 뛰어난 성능을 보이며, 비강체 환경에 대한 일반화 능력이 뛰어나다는 것을 입증했다.
• Sintel 데이터셋에서 NMG 0.890, MRE 0.311, SILog 0.172를 기록하여 DEMON 방법을 능가했으며, 다양한 데이터셋 간에도 강력한 일반화 능력을 보였다.
• 제안된 WSVD 데이터셋으로 학습할 경우, KITTI나 다른 강체 환경 데이터셋으로 학습한 모델 대비 Sintel에서 오차가 낮고 KITTI에서 더 뛰어난 성능을 보였다.
• 옵티컬 플로우와 두 번째 프레임을 입력으로 추가함으로써 Sintel에서 NMG가 0.993에서 0.890으로 감소하여, 시간적 정보가 깊이 추정 성능 향상에 크게 기여한다는 것을 확인했다.
• WSVD 데이터셋의 다양성 덕분에 KITTI로 학습한 모델보다 다른 데이터셋에서도 더 잘 일반화됨을 보여, 도메인 슬립에 대한 강건성이 향상됨을 시사한다.
• 한계점으로는 무문자 영역이나 장거리 환경에서 스테레오 대응이 실패하여 신뢰할 수 없는 지도 신호가 발생하고, 이로 인해 잘못된 깊이 예측이 유도될 수 있다는 점이다.