[논문 리뷰] Pushing the Boundaries of View Extrapolation with Multiplane Images

Pratul P. Srinivasan, Richard Tucker외 4명|arXiv (Cornell University)|2019. 05. 01.

Advanced Vision and Imaging참고 문헌 5인용 수 10

한 줄 요약

이 논문은 랜덤 해상도 훈련을 통해 3D CNN를 활용한 불일치 샘플링 빈도를 높임으로써 이전 연구에 비해 시야 외삽 범위를 크게 확장하는 새로운 다중 평면 이미지(MPI) 예측 방법을 제안한다. 가시 내용을 바탕으로 비가시 영역의 외삽에서 외관 일致성을 강제함으로써 반복 텍스처 아티팩트를 감소시키고, 최대 4배까지 더 넓은 횡방향 시야 외삽을 달성하며, 이는 이전의 MPI 기반 접근법보다 렌더링 품질과 범위에서 뛰어난 성능을 보인다.

ABSTRACT

We explore the problem of view synthesis from a narrow baseline pair of images, and focus on generating high-quality view extrapolations with plausible disocclusions. Our method builds upon prior work in predicting a multiplane image (MPI), which represents scene content as a set of RGB$α$ planes within a reference view frustum and renders novel views by projecting this content into the target viewpoints. We present a theoretical analysis showing how the range of views that can be rendered from an MPI increases linearly with the MPI disparity sampling frequency, as well as a novel MPI prediction procedure that theoretically enables view extrapolations of up to $4 imes$ the lateral viewpoint movement allowed by prior work. Our method ameliorates two specific issues that limit the range of views renderable by prior methods: 1) We expand the range of novel views that can be rendered without depth discretization artifacts by using a 3D convolutional network architecture along with a randomized-resolution training procedure to allow our model to predict MPIs with increased disparity sampling frequency. 2) We reduce the repeated texture artifacts seen in disocclusions by enforcing a constraint that the appearance of hidden content at any depth must be drawn from visible content at or behind that depth. Please see our results video at: https://www.youtube.com/watch?v=aJqAaMNL2m4.

연구 동기 및 목표

• 기존 다중 평면 이미지(MPI) 방법의 한계를 초월하여 신규 시점 합성에서의 시야 외삽 범위를 연장하는 것.
• MPI 예측 시 불일치 샘플링 빈도를 높임으로써 렌더링된 시점에서의 깊이 이산화 아티팩트를 감소시키는 것.
• 가시성 인식 외관 제약 조건을 통해 비가시 영역에서 반복되는 텍스처 아티팩트를 완화하는 것.
• 실제로는 좁은 기준선 스테레오 쌍에서 고품질의 시점 합성을 가능하게 하고, 타당한 비가시 영역 처리를 제공하는 것.
• 이론적이고도 실험적으로 시야 외삽 범위가 불일치 샘플링 빈도에 따라 선형적으로 증가함을 검증하는 것.

제안 방법

• 이 방법은 이전 연구보다 더 높은 불일치 샘플링 빈도를 갖는 다중 평면 이미지를 예측하기 위해 3D 컨volution 신경망을 활용한다.
• 일반화 성능 향상과 과적합을 방지하면서도 고주파 불일치 샘플링을 가능하게 하기 위해 랜덤 해상도 훈련 절차를 도입한다.
• 가시성 기반 외관 제약 조건은 동일한 깊이 또는 그 뒤에 있는 가시 내용에서만 비가시 영역의 숨겨진 내용을 합성하도록 보장한다.
• MPI는 각 RGBα 평면을 목표 시점에 원근 투영과 알파 컴posit링을 사용하여 투영함으로써 신규 시점으로 렌더링된다.
• 이론적 분석에 따르면 최대 시야 기준선은 불일치 샘플링 빈도에 따라 선형적으로 증가하며, 이는 이전 방법보다 최대 4배까지 더 큰 횡방향 이동 가능성을 제공한다.
• 모델은 광학적, 깊이, 외관 일致성 항목을 포함하는 손실 함수를 사용하여 스테레오 이미지 쌍에 대해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 다중 평면 이미지에서 불일치 샘플링 빈도를 높임으로써 시야 외삽 범위를 크게 연장할 수 있는가?
• RQ2 MPI를 사용한 신규 시점 합성에서 깊이 이산화 아티팩트를 어떻게 줄일 수 있는가?
• RQ3 합성된 시점의 비가시 영역에서 반복되는 텍스처 아티팩트를 효과적으로 줄일 수 있는 제약 조건은 무엇인가?
• RQ4 샘플링 빈도에 따라 시야 범위가 선형으로 증가한다는 이론적 성질이 실제로 어느 정도 달성되는가?
• RQ5 명시적인 깊이 감독 없이도 가시성 인식 외관 제약 조건이 비가시 영역 품질을 향상시킬 수 있는가?

주요 결과

• 이 방법은 기존 MPI 기반 접근법 대비 최대 4배까지 더 넓은 횡방향 시야 외삽을 달성하여 사용 가능한 시야 범위를 크게 확장한다.
• 이론적 분석을 통해 시야 외삽 범위가 불일치 샘플링 빈도에 따라 선형적으로 증가함을 확인하여 설계 선택의 타당성을 검증한다.
• 랜덤 해상도 훈련 절차를 통해 과적합 없이 더 높은 불일치 샘플링 빈도를 달성함으로써 렌더링 품질을 향상시킨다.
• 가시성 기반 외관 제약 조건은 비가시 영역에서 반복되는 텍스처 아티팩트를 효과적으로 감소시키며, 현실감을 향상시킨다.
• 정량적 평가에서 표준 벤치마크에서 특히 극단적인 시야 외삽 설정에서 PSNR 및 LPIPS 점수가 향상됨을 확인하였다.
• 결과 영상에서는 기준 스테레오 쌍의 기준선을 초월하여 고품질의 아티팩트 없는 시야 외삽을 시연하고 있다.