[논문 리뷰] Learning to Deblur using Light Field Generated and Real Defocus Images

Lingyan Ruan, Bin Chen외 2명|arXiv (Cornell University)|2022. 04. 01.

Image Processing Techniques and Applications인용 수 5

한 줄 요약

이 논문은 단일 이미지의 초점 해상도를 복원하기 위해 이중 단계 딥러닝 방법을 제안한다. 먼저 라이트 필드에서 생성된 이미지 쌍을 사용해 정밀한 픽셀 단위 대응 관계를 학습하고, 이후 실제 두 장의 촬영 이미지 데이터를 사용해 특징 손실을 적용하여 도메인 갭을 보완한다. 이 방법은 합성된 라이트 필드 데이터의 정확성과 실제 초점 흐림의 현실감을 결합하여 여러 벤치마크에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Defocus deblurring is a challenging task due to the spatially varying nature of defocus blur. While deep learning approach shows great promise in solving image restoration problems, defocus deblurring demands accurate training data that consists of all-in-focus and defocus image pairs, which is difficult to collect. Naive two-shot capturing cannot achieve pixel-wise correspondence between the defocused and all-in-focus image pairs. Synthetic aperture of light fields is suggested to be a more reliable way to generate accurate image pairs. However, the defocus blur generated from light field data is different from that of the images captured with a traditional digital camera. In this paper, we propose a novel deep defocus deblurring network that leverages the strength and overcomes the shortcoming of light fields. We first train the network on a light field-generated dataset for its highly accurate image correspondence. Then, we fine-tune the network using feature loss on another dataset collected by the two-shot method to alleviate the differences between the defocus blur exists in the two domains. This strategy is proved to be highly effective and able to achieve the state-of-the-art performance both quantitatively and qualitatively on multiple test sets. Extensive ablation studies have been conducted to analyze the effect of each network module to the final performance.

연구 동기 및 목표

• 공간적으로 변화하는 초점 흐림을 다루는 데 있어 정확한 픽셀 단위 대응 관계를 가진 훈련 데이터가 부족한 문제를 해결하기 위해.
• 라이트 필드에서 생성된 합성 초점 흐림과 기존 카메라에서 촬영한 실제 초점 흐림 간의 도메인 갭을 극복하기 위해.
• 라이트 필드에서 생성된 이미지 쌍과 실제 세계의 초점 흐림 이미지 쌍의 장점을 모두 활용하는 딥러닝 프레임워크를 개발하기 위해.
• 라이트 필드 데이터에서 얻은 고정밀 대응 관계와 실제 데이터에서의 현실적인 흐림 특성의 조합을 통해 블러 복원 성능을 향상시키기 위해.
• 세부 사항 복원을 위한 새로운 동적 잔차 블록과 다중 척도 특징 학습의 효과를 검증하기 위해.

제안 방법

• 이 방법은 이중 단계 학습 전략을 사용한다: 먼저 라이트 필드 합성 조리개 기반 정밀한 픽셀 단위 대응 관계를 활용하기 위해 LFDOF 데이터셋에서 평균 절대 오차(MAE) 손실을 사용해 사전 학습한다.
• 그 후, DPDD 및 RealDOF 데이터셋에서 인지적 특징 손실을 사용해 실제 세계의 초점 흐림 특성에 적응하도록 모델을 미세 조정한다.
• 공간적으로 변화하는 흐림을 처리하기 위해 동적 잔차 블록(DRB)을 도입한다. 이는 적응형 잔차 특징, 동적 커널 크기, 다중 척도 정렬을 포함한다.
• DRB는 각 레이어마다 적응 가능한 학습 가능한 커널 크기를 사용하여 복잡한 흐림 패턴을 모델링하는 데 있어 유연성을 향상시킨다.
• 고해상도 세부 정보를 점진적으로 복원하기 위해 코arse-to-fine 다중 척도 아키텍처를 채택한다.
• 미세 조정 단계에서 특징 손실을 적용하여 복원된 이미지와 진짜 이미지 간의 특징 표현을 일치시켜 시각적 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 라이트 필드에서 생성된 이미지 쌍과 실제 초점 흐림 이미지 쌍을 조합하면 단일 이미지 블러 복원에서 일반화 능력과 성능이 향상되는가?
• RQ2 라이트 필드에서 생성된 흐림과 실제 카메라에서의 흐림 간의 도메인 갭은 블러 복원 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ3 제안된 동적 잔차 블록(DRB)의 각 구성 요소가 최종 블러 복원 품질에 기여하는 정도는 어떠한가?
• RQ4 명시적인 흐림 지ap 추정 없이 엔드 투 엔드 학습을 수행하면, 먼저 흐림 지도를 추정하는 이중 단계 방법보다 성능이 뛰어나게 되는가?
• RQ5 DRB 내의 동적 커널 크기가 다양한 데이터셋에서 복원 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 RealDOF 데이터셋에서 PSNR 25.745를 기록하여 이전 방법들보다 유의미한 성능 향상을 달성했다.
• 제거 실험 결과 동적 잔차 블록(DRB)의 모든 구성 요소(잔차 특징, 동적 커널, 잔차 정렬)가 최적 성능을 내기 위해 필수적임을 확인했다.
• 라이트 필드 사전 학습 + 실제 데이터 미세 조정 전략을 사용한 모델은 각각의 데이터셋으로만 학습한 경우보다 더 우수한 일반화 성능을 보였다.
• 명시적인 흐림 지도 추정 없이도 LFDOF 테스트 세트에서 AIFNet보다 PSNR 0.726 dB 높은 성능을 기록했다.
• 최적의 동적 커널 크기는 RealDOF에선 7, DPDD에선 9이며, 성능과 파rameter 효율성의 균형을 고려해 7을 선택했다.
• 정성적 결과에서는 오직 전체 DRB 구성일 때만 세밀한 디테일과 현실적인 질감이 복원되었으며, 이는 아키텍처 구성 요소의 중요성을 확인한다.