[논문 리뷰] Breaking the Spatio-Angular Trade-off for Light Field Super-Resolution via LSTM Modelling on Epipolar Plane Images

Hao Zhu, Mantang Guo외 3명|arXiv (Cornell University)|2019. 02. 15.

Advanced Vision and Imaging참고 문헌 29인용 수 6

한 줄 요약

이 논문은 전통적인 공간-각도 상충 관계를 극복하기 위해 에피폴라 평면 영상(EPIs)을 2차원 시퀀스로 모델링하는 새로운 CNN-LSTM 프레임워크를 제안한다. EPI의 기하학적 연속성에 초점을 맞추어 의미적 내용이 아닌 기하학적 특성을 활용함으로써, 특히 고차이 영역에서 최신 학습 기반 방법보다 3dB 이상 향상된 성능을 달성한다.

ABSTRACT

Light-field cameras (LFC) have received increasing attention due to their wide-spread applications. However, current LFCs suffer from the well-known spatio-angular trade-off, which is considered as an inherent and fundamental limit for LFC designs. In this paper, by doing a detailed geometrical optical analysis of the sampling process in an LFC, we show that the effective sampling resolution is generally higher than the number of micro-lenses. This contribution makes it theoretically possible to break the resolution trade-off. Our second contribution is an epipolar plane image (EPI) based super-resolution method, which can super-resolve the spatial and angular dimensions simultaneously. We prove that the light field is a 2D series, thus, a specifically designed CNN-LSTM network is proposed to capture the continuity property of the EPI. Rather than leveraging semantic information, our network focuses on extracting geometric continuity in the EPI. This gives our method an improved generalization ability and makes it applicable to a wide range of previously unseen scenes. Experiments on both synthetic and real light fields demonstrate the improvements over state-of-the-art, especially in large disparity areas.

연구 동기 및 목표

• 라이트 필드 카메라(LFCs)에서 내재된 공간-각도 해상도 상충 관계를 해결함으로써 동시에 높은 공간 해상도와 각도 해상도를 확보하고자 한다.
• 에피폴라 평면 영상(EPIs)을 활용하여 공간 및 각도 차원을 동시에 초해상도 처리하는 학습 기반 방법을 개발하고자 한다.
• 의미적 내용이 아닌 기하학적 연속성에 초점을 맞춤으로써 다양한 새로운 시나리오에 대해 일반화 능력을 향상시키고자 한다.
• 기존의 깊이 기반 및 EPI 기반 방법의 한계, 특히 큰 차이 영역에서의 아티팩트와 EPI 일관성 손실 문제를 해결하고자 한다.
• 이론적 및 실증적으로 라이트 필드 카메라(LFCs)의 효과적 샘플링 해상도가 마이크로 렌즈 수를 초과할 수 있음을 입증하고자 한다.

제안 방법

• 라이트 필드 카메라(LFC)의 기하학적 광학적 분석을 수행하여, 특히 왜곡된 조건에서 효과적 공간 샘플링 해상도가 마이크로 렌즈 수를 초과할 수 있음을 보여준다.
• 라이트 필드를 에피폴라 평면 영상(EPIs)의 2차원 시퀀스로 모델링하여, 다양한 시야 간 에피폴라 선의 연속성을 활용한다.
• EPI의 기하학적 연속성을 포착하기 위해 특별히 설계된 CNN-LSTM 네트워크를 제안하며, 여기서 LSTM은 2차원 EPI 시퀀스의 시간적 의존성을 모델링한다.
• 의미적 인painting에 의존하기보다는 기하학적 구조의 보간에 집중함으로써, 새로운 시나리오에 대한 일반화 능력을 향상시킨다.
• 양성 및 음성 차이 영역에 대한 강건성을 향상시키기 위해 시어링 기반 데이터 증강 기법을 적용한다.
• 2차원 시리즈 모델을 사용하여 연속적이고 이산적인 에피폴라 선을 균일하게 표현함으로써, 일관된 EPI 초해상도 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜곡된 경우의 효과적 샘플링 해상도를 분석함으로써, 라이트 필드 카메라(LFCs)의 공간-각도 상충 관계를 이론적으로 극복할 수 있는가?
• RQ2 에피폴라 평면 영상(EPIs)을 2차원 시퀀스로 모델링하여 기하학적 연속성을 활용해 초해상도를 향상시킬 수 있는가?
• RQ3 기하학적 연속성에 중점을 둔 CNN-LSTM 아키텍처가 의미적 내용이나 깊이 추정에 의존하는 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 EPI 일관성이 약한 고차이 영역에서 제안된 방법의 성능은 어떠한가?
• RQ5 튜닝 없이도 이전에 본 적 없는 시나리오에 효과적으로 일반화할 수 있는가?

주요 결과

• 제안된 방법은 최신 기술 대비 3dB 이상의 PSNR 향상을 달성하였으며, 디즈니 데이터셋에서 EPICNN 대비 최고 32.17dB 대비 28.77dB의 성능 향상을 기록하였다.
• 고차이 영역, 예를 들어 그림 11(a)의 스푸르 기준선에서, 제안된 방법은 날카운 물체 경계를 유지하는 반면, EPICNN은 심한 겹침 아티팩트를 유발한다.
• 양성 및 음성 차이 영역 모두에서 일관된 성능을 유지하며, LFST는 음성 차이 영역에서 아티팩트를 유발하는 것과 대비된다.
• EPI 일관성이 떨어지는 큰 차이 영역에서도 제안된 방법은 잘 재구성된 영상을 생성함으로써, EPI 불연속성에 대한 강건성을 보여준다.
• 해상도가 증가할수록 성능이 향상되고, 차이가 증가할수록 성능이 저하되지만, 모든 설정에서 베이스라인보다 우수한 성능을 보이며 특히 고줌아웃 요인에서 두각을 나타낸다.
• 낮은 차이와 높은 차이 영역 모두에서 재구성된 EPI가 실제값에 매우 가까워, 모델이 기하학적 구조를 잘 유지함을 확인할 수 있다.