[논문 리뷰] Extreme View Synthesis

Inchang Choi, Orazio Gallo외 3명|arXiv (Cornell University)|2018. 12. 12.

Advanced Vision and Imaging참고 문헌 35인용 수 5

한 줄 요약

이 논문은 극단적인 기준선 외삽까지 30배에 이르는 조건에서도 단 두 장의 입력 이미지로도 고품질의 새로운 시점 이미지를 생성할 수 있는 새로운 방법인 Extreme View Synthesis를 제안한다. 깊이 확률 볼륨을 활용해 불확실성을 모델링하고, 이를 파ッチ 기반의 학습된 이미지 사전 지식과 결합함으로써 왜곡된 시점을 개선하여, 이전 방법들이 실패하는 극단적인 조건에서도 시각적으로 뛰어난 결과를 도출한다.

ABSTRACT

We present Extreme View Synthesis, a solution for novel view extrapolation that works even when the number of input images is small--as few as two. In this context, occlusions and depth uncertainty are two of the most pressing issues, and worsen as the degree of extrapolation increases. We follow the traditional paradigm of performing depth-based warping and refinement, with a few key improvements. First, we estimate a depth probability volume, rather than just a single depth value for each pixel of the novel view. This allows us to leverage depth uncertainty in challenging regions, such as depth discontinuities. After using it to get an initial estimate of the novel view, we explicitly combine learned image priors and the depth uncertainty to synthesize a refined image with less artifacts. Our method is the first to show visually pleasing results for baseline magnifications of up to 30X.

연구 동기 및 목표

• 단 두 장의 입력 이미지뿐이면서도 가상 카메라가 입력 시점에서 멀리 떨어져 있을 때 새로운 시점 합성 문제를 해결하기 위해.
• 극단적인 시점 외삽에서 발생하는 가림현상과 깊이 불확실성으로 인한 아티팩트를 줄이기 위해.
• 기하학적 제약 조건과 학습된 이미지 사전 지식을 융합하여 극단적인 시점 합성에서 이미지 품질을 향상시키기 위해.
• 단순한 기준선 외삽을 넘어서 자유로운 카메라 운동(이동 및 회전)을 가능하게 하기 위해.
• 제한된 입력 데이터와 높은 외삽 조건으로 인해 기존 방법들이 실패하는 상황에서도 시각적으로 매력적인 결과를 도출하기 위해.

제안 방법

• 단일 깊이 값이 아닌 각 입력 시점에 대해 깊이 확률 볼륨을 추정하여 깊이 불확실성을 포착하고, 깊이 불연속성 처리에 유리하게 한다.
• 입력된 깊이 확률 볼륨을 왜곡하고 융합하여 새로운 시점의 깊이 확률 볼륨을 생성함으로써 불확실성 정보를 유지한다.
• 새로운 시점의 깊이 확률 볼륨을 사용하여 가시화 가능한 렌더링을 통해 초기 새로운 시점 이미지를 합성한다.
• 파일럿 기반의 개선 네트워크를 사용하여 초기 이미지를 개선하며, 깊이 확률 분포에 따라 가이드함으로써 국소적 구조를 향상시키고 아티팩트를 감소시킨다.
• 파일럿 샘플링을 깊이 불확실성에 따라 수행함으로써 전역 이미지 사전 지식과 국소적 장면 기하학을 모두 활용한다.
• 이 방법은 임의의 카메라 자세를 지원하며, 보간과 극단적 외삽 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 극단적인 기준선 외삽 조건에서 단 두 장의 입력 이미지로만 효과적으로 새로운 시점 합성을 수행할 수 있는가?
• RQ2 깊이 불확실성을 어떻게 활용하여 극단적인 시점 합성에서 이미지 품질을 향상시킬 수 있는가?
• RQ3 학습된 이미지 사전 지식을 기하학적 제약 조건과 효과적으로 융합하여 가림 영역의 아티팩트를 줄일 수 있는가?
• RQ4 기존 스테레오 확대 방법의 한계를 초월하여 고품질 결과를 도출할 수 있는가?
• RQ5 깊이 확률에 따라 가이드되는 파일럿 기반 개선 기법은 표준 개선 네트워크보다 재구성 성능을 어떻게 향상시키는가?

주요 결과

• 이 방법은 30배 기준선 확대 조건에서 처음으로 시각적으로 매력적인 결과를 도출하였다.
• 단 두 장의 입력 이미지뿐임에도 불구하고, 30배 외삽 조건에서 Stereo Magnification과 같은 이전 방법보다 더 선명하고 일관성 있는 이미지를 생성한다.
• 파일럿 기반의 개선 네트워크는 파일럿 가이드 없이 작동하는 표준 개선 네트워크보다 특히 가림 영역 재구성에서 뚜렷한 성능 향상을 보였다.
• 다양한 카메라 운동, 특히 도르마인 트랙젝터리와 같은 도전적인 조건에서도 높은 품질을 유지한다.
• 유튜브에서 유래한 시퀀스에 대한 결과는 제한된 입력 데이터로도 실제 장면에 대해 강건성과 일반화 능력을 입증한다.
• 기본 방법인 Soft3D와 비교해도 더 적은 입력 수로도 경쟁 가능한 성능을 달성한다.