[논문 리뷰] DeepView: View Synthesis with Learned Gradient Descent

John P. Flynn, Michael Broxton외 6명|arXiv (Cornell University)|2019. 06. 18.

Advanced Vision and Imaging참고 문헌 34인용 수 21

한 줄 요약

DeepView는 희소한 입력 시점에서 고품질의 다중면상 이미지(MPIs)를 복원하기 위한 학습된 경사하강법 접근법을 제안하며, 개선된 음영 처리 능력을 갖춘 최신 기술 수준의 시점 합성 성능을 달성한다. 경사에서의 가시성 모델링을 통해 복잡한 시점—특히 윤곽선, 반사, 고심도 복잡도 영역에서 뛰어난 성능을 발휘하며, Kalantari 라이트필드 데이터셋과 새로운 공개 데이터셋인 Spaces에서 이전 방법들을 능가한다.

ABSTRACT

We present a novel approach to view synthesis using multiplane images (MPIs). Building on recent advances in learned gradient descent, our algorithm generates an MPI from a set of sparse camera viewpoints. The resulting method incorporates occlusion reasoning, improving performance on challenging scene features such as object boundaries, lighting reflections, thin structures, and scenes with high depth complexity. We show that our method achieves high-quality, state-of-the-art results on two datasets: the Kalantari light field dataset, and a new camera array dataset, Spaces, which we make publicly available.

연구 동기 및 목표

• 희소 카메라 시점에서 다중면상 이미지(MPIs)를 재구성하는 정의되지 않은 역문제를 해결한다.
• 객체 윤곽선, 반사, 얇은 구조물, 고심도 복잡도와 같은 어려운 상황에서의 시점 합성 품질을 향상시킨다.
• MPI 최적화에서 표준 경사하강법의 한계를 극복하기 위해 장면 사전 지식을 암묵적으로 포함하는 데이터 기반 업데이트 규칙을 학습한다.
• 학습 및 평가를 위한 새로운 대규모 실세계 데이터셋인 Spaces를 도입한다.
• 학습된 경사하강법이 최소한의 반복 수로 고품질의 실시간 렲레이팅이 가능한 MPI를 생성할 수 있음을 입증한다.

제안 방법

• 반복 최적화 과정에서 표준 경사하강법을 대체할 수 있는 학습된 업데이트 함수를 학습하기 위해 딥 네트워크를 사용한다.
• 입력 이미지를 CNN을 통해 처리하여 初기 MPI를 생성한 후, 몇 차례의 학습된 경사하강 반복을 통해 이를 정밀하게 다듬는다.
• 입력 시점과 MPI 층 사이의 가시성 관계를 경사 계산에 명시적으로 모델링하여 정확한 음영 처리 추론을 가능하게 한다.
• 경사의 직관적인 형태인 가시성 인식 오차 신호를 활용하여, 자연 장면의 다양체 위에 머물 수 있는 표현을 네트워크가 학습할 수 있도록 한다.
• 입력 카메라 수의 유연성을 확보하기 위해 입력 시점 간의 max-pooling을 사용하여, 향후 고정된 시점 수를 초월한 일반화 가능성에 기여한다.
• 입력 시점 측정치에 대해 MPI 매개변수를 최적화하기 위해 가역 렌더러를 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습된 경사하강법은 특히 어려운 시점 특징에서 MPI 재구성 품질을 향상시킬 수 있는가?
• RQ2 표준 경사하강법과 비교해 볼 때, 가시성 인식 경사 계산은 MPI 최적화에서 음영 처리 추론을 어떻게 향상시키는가?
• RQ3 학습된 업데이트 규칙이 장면 사전 지식을 암묵적으로 얼마나 잘 코딩할 수 있는가? 이는 과적합과 시각적 잡음을 줄이는 데 기여하는가?
• RQ4 이 방법은 고심도 복잡도, 반사, 얇은 구조물이 포함된 다양한 실세계 시점에 일반화 가능한가?
• RQ5 기존 최신 기술 수준의 방법들과 비교해 볼 때, DeepView는 표준 및 신규 도입된 벤치마크 데이터셋 모두에서 어떤 성능을 보이는가?

주요 결과

• DeepView는 Kalantari 라이트필드 데이터셋과 새로운 공개 데이터셋인 Spaces에서 최신 기술 수준의 시점 합성 성능을 달성한다.
• 메서드는 날카운 윤곽선, 정확한 반사, 얇은 구조물 및 복잡한 잎자국 처리를 포함한 고품질 결과를 생성한다.
• Soft3D와 비교해 DeepView는 특히 고심도 복잡도 영역에서 부드러움과 윤곽선 잡음이 감소한다.
• MPI에서 투명한 알파 값 사용을 통해 산란 반사를 재구성함으로써 먼 거리의 평면까지의 가시성을 허용한다.
• MPI에서 유도된 깊이 시각화 결과는 물체 윤곽선 주변에서 높은 정확도를 보이나, 명시적 깊이 감독이 없어 매끄러운 영역에서는 다소 떨어진다.
• 4개의 입력 시점에 대해 P100 GPU에서 약 50초 내에 실행되어 최적화된 MPI에서 새로운 시점의 실시간 렌더링이 가능하다.