[논문 리뷰] Fast and Full-Resolution Light Field Deblurring using a Deep Neural Network

Jonathan Samuel Lumentut, Tae Hyun Kim외 2명|arXiv (Cornell University)|2019. 03. 31.

Advanced Image Processing Techniques참고 문헌 25인용 수 8

한 줄 요약

이 논문은 6자유도(6-DOF) 카메라 운동 모델을 사용하여 고속이고 전체 해상도의 라이트 필드 복원을 위한 딥 네ural 네트워크를 제안한다. 실제 운동 블러를 반영한 대규모 흐린 라이트 필드 데이터셋을 합성하고, 큰 수신장 영역을 가진 순환 합성곱-역합성곱 네트워크를 훈련시킴으로써, 전체 해상도 라이트 필드에서 2초 이내로 최신 기술 수준의 복원 품질을 달성한다 — 이는 이전 작업 대비 16,000배 빠른 속도이다.

ABSTRACT

Restoring a sharp light field image from its blurry input has become essential due to the increasing popularity of parallax-based image processing. State-of-the-art blind light field deblurring methods suffer from several issues such as slow processing, reduced spatial size, and a limited motion blur model. In this work, we address these challenging problems by generating a complex blurry light field dataset and proposing a learning-based deblurring approach. In particular, we model the full 6-degree of freedom (6-DOF) light field camera motion, which is used to create the blurry dataset using a combination of real light fields captured with a Lytro Illum camera, and synthetic light field renderings of 3D scenes. Furthermore, we propose a light field deblurring network that is built with the capability of large receptive fields. We also introduce a simple strategy of angular sampling to train on the large-scale blurry light field effectively. We evaluate our method through both quantitative and qualitative measurements and demonstrate superior performance compared to the state-of-the-art method with a massive speedup in execution time. Our method is about 16K times faster than Srinivasan et. al. [22] and can deblur a full-resolution light field in less than 2 seconds.

연구 동기 및 목표

• 기존의 빛의 방향성 흐린 복원 방법들이 느린 처리 속도, 해상도 저하, 단순화된 운동 블러 모델로 인해 약점이 있음을 해결하기 위해.
• 고정밀도와 고속도를 동시에 확보할 수 있는 학습 기반 접근법을 개발하여 전체 해상도 4차원 라이트 필드를 복원하기 위해.
• 6-DOF 운동 모델(3D 이동 + 3D 회전)을 사용하여 실제적인 대규모 흐린 라이트 필드 데이터셋을 생성하기 위해.
• 큰 효과적 수신장 영역을 가진 딥 네럴 네트워크를 활용하여 종단간 전체 공간 및 각도 해상도를 유지하는 엔드 투 엔드 복원을 가능하게 하기 위해.

제안 방법

• 실제 Lytro Illum 라이트 필드와 3D 시뮬레이션 환경을 기반으로 6-DOF 카메라 운동(3D 이동 + 3D 회전) 조건 하에서 대규모 흐린 라이트 필드 데이터셋을 합성한다.
• 합성곱, 역합성곱, 순환층을 조합한 딥 네트워크 아키텍처를 통해 깊이가 깊지 않아도 큰 효과적 수신장 영역을 확보한다.
• 훈련 중에 각도 샘플링을 적용하여 대규모 4차원 라이트 필드 데이터를 효율적으로 처리하고 일반화 능력을 향상시킨다.
• 네트워크는 훈련을 통해 흐린 입력에서 직접 선명한 라이트 필드 출력을 예측하도록 엔드 투 엔드로 훈련되며, 전체 공간 및 각도 해상도를 유지한다.
• 4차원 라이트 필드 볼륨 전반에 걸쳐 특징를 반복적으로 개선하고 복원 성능을 향상시키기 위해 순환 구조를 통합한다.
• 훈련 과정은 합성 데이터셋에서의 참값 선명한 라이트 필드를 활용하여 지도 학습 기반으로 네트워크를 지도한다.

실험 결과

연구 질문

• RQ1 최적화 기반 방법에 비해 유의미하게 감소된 추론 시간으로 전체 해상도 라이트 필드 복원을 딥 네럴 네트워크가 달성할 수 있는가?
• RQ2 실제 라이트 필드 복원에서 3-DOF 이동 모델에 비해 6-DOF 운동 블러 모델은 복원 성능을 어떻게 향상시키는가?
• RQ3 학습 기반 엔드 투 엔드 네트워크가 PSNR, SSIM, RMSE 측면에서 전통적인 최적화 기반 복원 기법에 비해 어느 정도 뛰어나게 성능을 내는가?
• RQ4 매우 깊은 네트워크 아키텍처 없이도 순환 네트워크 아키텍처가 큰 효과적 수신장 영역을 달성할 수 있는가?
• RQ5 제안된 방법이 훈련 분포를 초월한 실제 세계의 흐린 라이트 필드 데이터에 일반화되는가?

주요 결과

• 제안된 방법은 6-DOF 테스트 세트에서 PSNR 27.57, SSIM 0.855를 기록하여 양적 지표에서 이전 최신 기술 수준의 방법들을 모두 능가한다.
• 3-DOF 운동 블러 벤치마크에서 PSNR 27.21, SSIM 0.871을 기록하여, 6-DOF 데이터로 훈련되었음에도 불구하고 강력한 일반화 능력을 입증한다.
• GPU에서 전체 해상도 라이트 필드를 1.7초 이내로 처리하여, Srinivasan 등 [22]의 이전 최신 기술 수준 방법 대비 16,000배 빠른 속도를 기록한다.
• 정성적 결과에서는 특히 큰 운동 블러 영역에서 가장 뛰어난 에지 및 텍스처 복원 능력을 보이며, 부분조리개 이미지 간 일관된 EPI 구조를 유지한다.
• 외부 소스에서 확보한 실제 세계의 흐린 라이트 필드 데이터, 특히 훈련 중에 볼 수 없었던 데이터에 대해서도 네트워크가 잘 일반화됨을 시각적 비교를 통해 확인했다.
• 제거 실험 결과, 순환 구조와 각도 샘플링 전략이 성능 향상과 훈련 효율성 향상에 크게 기여한다는 것을 확인했다.