[논문 리뷰] LapEPI-Net: A Laplacian Pyramid EPI structure for Learning-based Dense Light Field Reconstruction

Gaochang Wu, Yebin Liu외 2명|arXiv (Cornell University)|2019. 02. 17.

Advanced Vision and Imaging참고 문헌 33인용 수 6

한 줄 요약

LapEPI-Net는 학습 기반의 고밀도 라이트 필드 재구성에서 앨리어징 또는 블러링 간의 상충 관계를 해결하기 위해 라플라시안 피라미드 EPI(LapEPI) 구조를 제안한다. 이 구조는 라이트 필드 에피포럴 플레인 이미지(EPIs)를 다중 척도 공간 성분으로 분해하여, 주로 각도가 희박한 환경에서 발생하는 문제를 해결한다. 푸리에 도메인에서 EPI를 분석한 결과, 사전 필터링보다 공간 척도를 줄이는 것이 더 효과적인 것으로 나타났으며, 이는 자연 이미지와 비정형 라이트 필드에서의 전이 학습을 활용한 새로운 네트워크 아키텍처로 이어졌다. 이로 인해 라운드라운드 라이트 필드나 각도가 희박한 환경에서도 최신 기술 수준(SOTA)의 성능을 달성하였고, 최소한의 블러링 또는 앨리어징을 동반하였다.

ABSTRACT

For dense sampled light field (LF) reconstruction problem, existing approaches focus on a depth-free framework to achieve non-Lambertian performance. However, they trap in the trade-off "either aliasing or blurring" problem, i.e., pre-filtering the aliasing components (caused by the angular sparsity of the input LF) always leads to a blurry result. In this paper, we intend to solve this challenge by introducing an elaborately designed epipolar plane image (EPI) structure within a learning-based framework. Specifically, we start by analytically showing that decreasing the spatial scale of an EPI shows higher efficiency in addressing the aliasing problem than simply adopting pre-filtering. Accordingly, we design a Laplacian Pyramid EPI (LapEPI) structure that contains both low spatial scale EPI (for aliasing) and high-frequency residuals (for blurring) to solve the trade-off problem. We then propose a novel network architecture for the LapEPI structure, termed as LapEPI-net. To ensure the non-Lambertian performance, we adopt a transfer-learning strategy by first pre-training the network with natural images then fine-tuning it with unstructured LFs. Extensive experiments demonstrate the high performance and robustness of the proposed approach for tackling the aliasing-or-blurring problem as well as the non-Lambertian reconstruction.

연구 동기 및 목표

• 각도가 희박한 상황에서 지속적인 앨리어징 또는 블러링 간의 상충 관계를 해결하기 위해 학습 기반의 고밀도 라이트 필드(LF) 재구성 문제를 다루는 것.
• 유리, 털, 반사성 물체 등 비라운드반 특성 표면에서 실패하는 깊이 기반 방법의 한계를 극복하기 위한 것.
• 사전 필터링에 의존하지 않고도 고주파 성분과 앨리어징을 명시적으로 다룰 수 있는 EPI 구조를 설계하는 것.
• 플레노픽 카메라와 현미경 어레이를 포함한 다양한 LF 획득 기하학에 일반화할 수 있는 딥 러닝 프레임워크를 개발하는 것.
• 학습 중에 깊이 감독이나 구조적 LF 데이터가 필요 없이도 비라운드반 환경에서 강력하고 고해상도의 뷰 합성을 가능하게 하는 것.

제안 방법

• 푸리에 도메인 분석을 통해 EPI의 공간 척도를 줄이는 것이 앨리어징 또는 블러링을 억제하기 위해 사전 필터 커널 크기를 증가시키는 것보다 더 효과적임을 보여주는 방법.
• 앨리어징 억제를 위한 저공간 척도 성분과 블러링 방지를 위한 고주파 잔여 성분을 분리하기 위해 라플라시안 피라미드 EPI(LapEPI) 구조를 설계한 것.
• 다중 척도 EPI 구조를 종단 간(end-to-end)으로 처리할 수 있도록 새로운 네트워크 아키텍처인 LapEPI-net을 제안한 것. 이는 각도 해상도를 유지하면서 공간 세부 정보를 향상시킨다.
• 두 단계의 전이 학습 전략을 적용: 먼저 자연 이미지에서 일반적인 이미지 사전 지식을 학습하고, 그 다음 비정형 라이트 필드에서 미세조정하여 LF 전용 패tern에 적응시킴.
• 깊이 추정을 회피함으로써 기하학적 또는 반사율 감독 없이도 원시 EPI에서 학습함으로써 비라운드반 성능을 달성할 수 있도록 설계함.
• 희박하게 샘플링된 입력에서 고밀도 라이트 필드를 재구성하도록 네트워크를 훈련시키며, 4코어 CPU에서 1개 뷰당 추론 시간이 1초 이내였다.

실험 결과

연구 질문

• RQ1 푸리에 도메인에서 EPI의 공간 척도를 줄이는 것이 기존의 사전 필터링 방법보다 앨리어징 또는 블러링 간의 상충 관계를 더 효과적으로 해결할 수 있는가?
• RQ2 어떻게 다중 척도 EPI 구조를 설계하여 각도가 희박한 라이트 필드에서 고주파 성분을 유지하면서도 앨리어징을 억제할 수 있는가?
• RQ3 자연 이미지와 비정형 라이트 필드에서의 전이 학습이 비라운드반 라이트 필드 재구성에서 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 깊이 감독이나 명시적 기하 모델링 없이도 학습 기반의 EPI 프레임워크가 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 LapEPI 구조는 플레노픽 카메라와 현미경 어레이를 포함한 다양한 LF 획득 시스템에서 어떻게 성능을 발휘하는가?

주요 결과

• 반사성 카테고리에서 LapEPI-net은 PSNR 35.42와 SSIM 0.926를 기록하여 이전 방법들인 Wu et al. [31] (PSNR 29.22, SSIM 0.909) 및 Kalantari et al. [14] (PSNR 28.60, SSIM 0.795)를 능가했다.
• Stanford 2006 현미경 데이터셋에서 LapEPI-net은 PSNR 35.79와 SSIM 0.913을 기록하여 Wu et al. [31] (PSNR 32.36, SSIM 0.885) 및 Kalantari et al. [14] (PSNR 24.91, SSIM 0.593)를 크게 앞섰다.
• Cam. array 현미경 데이터셋에서 LapEPI-net은 PSNR 29.67과 SSIM 0.916을 기록하여 Wu et al. [31] (PSNR 27.08, SSIM 0.890) 및 Kalantari et al. [14] (PSNR 21.40, SSIM 0.701)를 능가했다.
• 복잡한 음영과 반투명성으로 인해 어려운 시나리오인 골지-염색된 뉴런과 드로소필라 유충에서도 아티팩트 없는 결과를 생성하였으며, 이전 방법들은 찢어짐, 가로지르는 잔상 또는 블러링 현상을 보였다.
• 4코어 CPU에서 1뷰당 추론 시간이 1초 이내였고, 뛰어난 품질을 유지하면서도 이전 방법들보다 효율성이 뛰어났다.
• 자연 이미지와 비정형 LF에서의 전이 학습 전략 덕분에, 플레노픽 카메라 데이터로 미세조정하지 않더라도 강력한 일반화 능력을 확보하였다.