[논문 리뷰] DeepStereo: Learning to Predict New Views from the World's Imagery

John P. Flynn, Ivan Neulander외 2명|arXiv (Cornell University)|2015. 06. 22.

Advanced Vision and Imaging참고 문헌 30인용 수 86

한 줄 요약

이 논문은 대규모 실세계 영상에서 끝에서 끝까지 훈련하여 포즈가 조절된 이미지에서 새로운 시야를 직접 예측하는 딥러닝 프레임워크인 DeepStereo를 제안한다. 색상, 깊이, 텍스처에 대한 학습된 사전 지식을 활용함으로써, 나무나 반사 표면과 같은 도전적인 장면에서도 유사한 품질의 새로운 시야 합성 결과를 얻으며, 전통적인 IBR 방법보다 시각적 타당성이 뛰어나지만, 다양한 비이상적인 데이터로 훈련된 점을 감안할 때도 성능을 높이는데 성공한다.

ABSTRACT

Deep networks have recently enjoyed enormous success when applied to recognition and classification problems in computer vision, but their use in graphics problems has been limited. In this work, we present a novel deep architecture that performs new view synthesis directly from pixels, trained from a large number of posed image sets. In contrast to traditional approaches which consist of multiple complex stages of processing, each of which require careful tuning and can fail in unexpected ways, our system is trained end-to-end. The pixels from neighboring views of a scene are presented to the network which then directly produces the pixels of the unseen view. The benefits of our approach include generality (we only require posed image sets and can easily apply our method to different domains), and high quality results on traditionally difficult scenes. We believe this is due to the end-to-end nature of our system which is able to plausibly generate pixels according to color, depth, and texture priors learnt automatically from the training data. To verify our method we show that it can convincingly reproduce known test views from nearby imagery. Additionally we show images rendered from novel viewpoints. To our knowledge, our work is the first to apply deep learning to the problem of new view synthesis from sets of real-world, natural imagery.

연구 동기 및 목표

• 실세계 자연 영상에서 딥러닝을 사용하여 새로운 시야 합성을 해결하는 것.
• 갈라지거나 앨리어싱과 같은 아티팩트로 인해 문제가 되는 전통적인 다단계 이미지 기반 렌더링(IBR) 방법의 한계를 극복하는 것.
• 스테레오, 막힘, 깊이를 명시적으로 모델링하지 않고도 입력 시야에서 볼 수 없는 시야 픽셀로의 복잡한 비선형 매핑을 끝에서 끝까지 학습하는 것.
• 포즈가 조절된 이미지 세트만을 입력으로 사용하여 실내 및 실외 환경을 포함한 다양한 장면으로 일반화하는 것.
• 운동, 막힘, 텍스처가 없는 표면이 존재하는 상황에서도 시각적으로 타당한 결과를 생성하는 것.

제안 방법

• 모델은 다수의 포즈가 조절된 입력 이미지를 입력으로 받아 직접적으로 새로운 목표 시야의 픽셀 색상으로 회귀하는 완전 컨volution 신경망 아키텍처를 사용한다.
• 입력 이미지들이 96개의 깊이 평면에 재프로젝션되어 부피 표현을 생성하고, 이를 네트워크로 들어가 공동 처리한다.
• 각 입력 이미지에 대해 공유 인코더 타워를 사용한 후, 뷰와 깊이 층 간의 특징을 융합하는 모듈이 특징을 통합한다.
• 예측된 목표 시야 픽셀과 진짜 목표 시야 픽셀 간의 픽셀 단위 L2 손실을 사용하여 끝에서 끝까지 훈련한다.
• 모델은 Google Street View에서 확보한 대규모 실세계 데이터를 활용하며, 각 이미지는 목표 시야로 사용되고 나머지 이미지들이 입력으로 사용된다.
• 아키텍처는 깊이, 색상 일관성, 텍스처에 대한 암묵적 사전 지식을 데이터에서 학습하여 강력한 일반화 능력을 확보하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 스테레오 모델링이나 3차원 재구성 없이도, 다수의 포즈가 조절된 이미지에서 직접적으로 새로운 시야를 합성할 수 있는 딥 뉴럴 네트워크를 끝에서 끝까지 훈련시킬 수 있는가?
• RQ2 나무, 유리, 막힘 등 복잡한 기하학적 구조를 가진 장면에서 기존의 IBR 방법과 비교해 모델의 일반화 능력은 어느 정도인가?
• RQ3 운동, 반사성 표면, 다양한 카메라 기준 거리가 있는 실세계 데이터를 처리하면서도 시각적 타당성을 유지할 수 있는가?
• RQ4 끝에서 끝까지 훈련을 통해 깊이, 색상, 텍스처에 대한 효과적인 사전 지식을 학습시켜 합성 품질을 향상시킬 수 있는가?
• RQ5 이전 연구의 테스트 세트와는 다른 특성(예: Street View)을 가진 데이터로 훈련했을 때 모델의 성능은 어떻게 되는가?

주요 결과

• 모델은 넓은 기준 거리 간의 시야 간섭조차도 실제 이미지와 구분하기 어려울 정도로 시각적으로 타당한 새로운 시야를 생성한다.
• Google Street View와 같은 매우 다른 데이터(다른 카메라 특성 포함)로 훈련되었음에도 불구하고, [1]의 데이터셋에서 경쟁적인 결과를 달성한다.
• 운동과 반사성을 블러링을 통해 우아하게 처리하여 기존 IBR에서 흔히 발생하는 갈라짐이나 반복 아티팩트를 방지한다.
• 미세한 구조나 부분적으로 막힌 물체는 종종 과도하게 블러어지거나 사라지므로, 세밀한 디테일 유지 능력에 한계가 있음을 시사한다.
• 카메라 운동이 훈련 가정을 초과할 경우에도 모델은 유사한 품질을 유지하며 시각적 일관성을 유지한다.
• 나무와 같은 자기 막힘 구조나 복잡한 텍스처를 처리하는 데 있어 명시적인 기하 모델링 없이도 일관된 결과를 생성하며, 강건성을 확보한다.