[논문 리뷰] Synthesizing a 4D Spatio-Angular Consistent Light Field from a Single Image

Andre Ivan, Williem Williem외 1명|arXiv (Cornell University)|2019. 03. 29.

Advanced Vision and Imaging참고 문헌 28인용 수 5

한 줄 요약

이 논문은 물리 기반 렲영이나 후처리 네트워크를 피하기 위해 외관 흐름을 기하학적 표현으로 사용하여 단일 이미지에서 4차원 시공간-각도 일致한 라이트 필드를 합성하는 엔드 투 엔드 딥 러닝 모델을 제안한다. 이 방법은 라이트 필드 도메인 지식에 기반한 새로운 손실 함수를 도입하여 시공간-각도 일치를 강제함으로써, 다양한 시나리오에서 최신 기술 수준의 성능을 달성하며, 깊이 추정 및 재초점화 능력이 향상된다.

ABSTRACT

Synthesizing a densely sampled light field from a single image is highly beneficial for many applications. The conventional method reconstructs a depth map and relies on physical-based rendering and a secondary network to improve the synthesized novel views. Simple pixel-based loss also limits the network by making it rely on pixel intensity cue rather than geometric reasoning. In this study, we show that a different geometric representation, namely, appearance flow, can be used to synthesize a light field from a single image robustly and directly. A single end-to-end deep neural network that does not require a physical-based approach nor a post-processing subnetwork is proposed. Two novel loss functions based on known light field domain knowledge are presented to enable the network to preserve the spatio-angular consistency between sub-aperture images effectively. Experimental results show that the proposed model successfully synthesizes dense light fields and qualitatively and quantitatively outperforms the previous model . The method can be generalized to arbitrary scenes, rather than focusing on a particular class of object. The synthesized light field can be used for various applications, such as depth estimation and refocusing.

연구 동기 및 목표

• 단일 이미지에서 조밀하게 샘플링된 4차원 라이트 필드를 합성하는 불완전한 문제를 해결하기 위해.
• 깊이 맵이나 물리 기반 려영에 의존하지 않고 외관 흐름을 기하학적 표현으로 사용하여 의존성을 제거하기 위해.
• 라이트 필드 도메인 지식에 기반한 새로운 손실 함수를 통해 합성된 라이트 필드의 시공간-각도 일치를 향상시키기 위해.
• 특정 물체 클래스에 집중된 이전 방법들과 달리, 복잡한 배경과 비-라운드먼트 표면을 포함한 다양한 시나리오에 잘 일반화되도록 하기 위해.
• 합성된 라이트 필드를 사용해 깊이 추정 및 재초점화와 같은 후속 응용을 가능하게 하기 위해.

제안 방법

• 단일 RGB 입력에서 직접 외관 흐름(u×v×2)을 예측하는 단일 엔드 투 엔드 딥 신경망을 사용한다.
• 다중 척도의 맥락을 캡처하고 세밀한 디테일을 유지하기 위해 확장된 컨볼루션을 사용하는 밀집 연결 네트워크를 적용한다.
• 두 가지 새로운 손실 함수를 도입한다: 전체 라이트 필드에 걸쳐 일관성을 강제하는 글로벌 손실과, 서브아포처 수준에서 각도 및 공간 일관성을 유지하는 국소 손실.
• 빛의 강도(Y)와 RGB 라이트 필드를 생성하기 위해 이미지 이동을 적용하며, Y는 손실 계산에 사용되고 RGB는 출력에 사용된다.
• 외관 흐름을 집계하여 노이즈를 줄이고 불연속 영역에서 가장자리를 유지하기 위해 가이드 필터를 사용하는 후처리 단계를 적용한다.
• 예측된 외관 흐름에서 이중선형 샘플링을 사용하여 최종 라이트 필드를 생성함으로써 뷰 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 깊이 맵이나 물리 기반 려영에 의존하지 않고도 외관 흐름이 단일 이미지 라이트 필드 합성에 있어 강력한 기하학적 표현으로 기능할 수 있는가?
• RQ2 학습 가능한, 도메인 인식 손실 함수를 사용해 합성된 라이트 필드에서 시공간-각도 일치를 어떻게 강제할 수 있는가?
• RQ3 단일 엔드 투 엔드 딥 네트워크가 이전 방법보다 더 잘 일반화되어 복잡한 배경과 비-라운드먼트 표면을 포함한 다양한 시나리오에 적용 가능한가?
• RQ4 기본 픽셀 기반 손실과 비교해 제안된 손실 함수가 기하학적 정확도를 얼마나 향상시키는가?
• RQ5 합성된 라이트 필드가 깊이 추정 및 재초점화와 같은 후속 응용에 효과적으로 사용될 수 있는가?

주요 결과

• 후처리를 적용한 결과, 플라워 데이터셋에서 PSNR 36.55와 SSIM 0.932를 기록하여 이전의 단일 이미지 방법들을 능가했다.
• 일반 데이터셋에서는 후처리를 적용한 결과 PSNR 30.92와 SSIM 0.87를 기록하여 다양한 시나리오에 대한 강력한 일반화 능력을 입증했다.
• 절단 분석 결과, 글로벌 손실과 국소 손실을 병합한 조합이 최고의 성능을 보였다(PSNR 36.31, SSIM 0.931), 개별 손실 또는 L1 손실보다 뛰어났다.
• 일반 데이터셋에서 후처리가 성능을 최대 1 dB 향상시켰으며, 이는 복잡한 영역에서 노이즈가 많은 흐름을 매끄럽게 하는 데 효과적임을 시사한다.
• 합성된 라이트 필드를 통해 고성능의 깊이 추정과 인위적 초점 왜곡 블러를 구현할 수 있었으며, 이는 기하학적 정확성과 후속 작업에서의 유용성을 확인한다.
• 특히 난이도 높은 시나리오에서 반사광과 잘못된 EPI 기울기를 처리하는 데 있어 Srinivasan 등 [18]의 방법보다 더 우수한 일반화 능력을 보였다.