[논문 리뷰] Deep Richardson-Lucy Deconvolution for Low-Light Image Deblurring

Liang Chen, Jiawei Zhang외 5명|arXiv (Cornell University)|2023. 08. 10.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 포화된 픽셀을 학습된 잠재 맵을 통해 모델링하는 데이터 기반 딥러닝 방법을 제안하며, 사전 추정 네트워크(PEN)와 리처드슨-루클리( RL)-기반 최적화 기법을 통합한다. 이 방법은 수작업으로 설계된 클리핑 근사치에 의존하지 않고 블러와 포화를 효과적으로 다루기 때문에, 합성 및 실세계 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Images taken under the low-light condition often contain blur and saturated pixels at the same time. Deblurring images with saturated pixels is quite challenging. Because of the limited dynamic range, the saturated pixels are usually clipped in the imaging process and thus cannot be modeled by the linear blur model. Previous methods use manually designed smooth functions to approximate the clipping procedure. Their deblurring processes often require empirically defined parameters, which may not be the optimal choices for different images. In this paper, we develop a data-driven approach to model the saturated pixels by a learned latent map. Based on the new model, the non-blind deblurring task can be formulated into a maximum a posterior (MAP) problem, which can be effectively solved by iteratively computing the latent map and the latent image. Specifically, the latent map is computed by learning from a map estimation network (MEN), and the latent image estimation process is implemented by a Richardson-Lucy (RL)-based updating scheme. To estimate high-quality deblurred images without amplified artifacts, we develop a prior estimation network (PEN) to obtain prior information, which is further integrated into the RL scheme. Experimental results demonstrate that the proposed method performs favorably against state-of-the-art algorithms both quantitatively and qualitatively on synthetic and real-world images.

연구 동기 및 목표

• 저조도 이미지에서 블러와 포화된 픽셀을 동시에 포함한 경우의 복원 문제를 해결하기 위해.
• 수작업으로 설계된 부드러운 함수를 사용해 픽셀 클리핑을 근사하는 데 의존하는 이전 방법의 한계를 극복하기 위해.
• 수작업으로 조정된 매개변수의 필요성을 제거하기 위해 포화된 픽셀의 데이터 기반 표현을 학습함으로써 복원 품질을 향상시키기 위해.
• 학습된 사전 추정 네트워크(PEN)를 통해 사전 정보를 통합함으로써 복원 품질을 향상시키기 위해.
• 비눈금 복원 문제를 반복적인 잠재 맵과 이미지 갱신을 통해 해결할 수 있는 최대 사후확률(MAP) 문제로 공식화하기 위해.

제안 방법

• 수작업으로 설계된 클리핑 모델을 대체하기 위해, 포화된 픽셀을 나타내는 잠재 맵을 예측하는 맵 추정 네트워크(MEN)를 학습한다.
• 포isson 노이즈와 블러 모델링에 적합한 리처드슨-루클리( RL)-기반 기법을 사용해 잠재 이미지를 반복적으로 갱신한다.
• 복원 과정을 안내하고 잡음과 아티팩트를 억제하기 위해 공간 사전을 학습하는 사전 추정 네트워크(PEN)를 도입한다.
• 비눈금 복원 문제를 MAP 문제로 공식화하며, 잠재 이미지와 학습된 잠재 맵을 함께 최적화한다.
• 반복 최적화 과정에서 RL 기반으로 잠재 이미지를 갱신하고, MEN을 통해 잠재 맵을 정밀화하며, PEN이 제공하는 사전 정보로 안정성과 품질을 향상시킨다.
• 합성 저조도 복원 데이터를 기반으로 엔드 투 엔드로 프레임워크를 학습하여 실세계 이미지로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 클리핑 함수에 의존하지 않고도 학습된 잠재 맵이 저조도 이미지의 포화된 픽셀을 효과적으로 모델링할 수 있는가?
• RQ2 PEN를 통한 학습된 사전 정보 통합이 복원 성능 향상과 아티팩트 감소에 어떻게 기여하는가?
• RQ3 제안된 데이터 기반 RL 기반 프레임워크가 합성 및 실세계 저조도 복원 벤치마크에서 기존 방법을 능가할 수 있는가?
• RQ4 반복적인 잠재 맵과 이미지 갱신을 통한 MAP 공식화가 이전 최적화 전략보다 더 강력하고 정확한 복원을 이끌어낼 수 있는가?
• RQ5 이 방법은 복잡한 블러 및 포화 패턴을 가진 실세계 저조도 이미지로의 일반화 능력이 어느 정도인가?

주요 결과

• 제안된 방법은 PSNR 및 SSIM 측정 기준으로 합성 및 실세계 저조도 이미지 복원 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 특히 고포화 영역에서 기존 기반 방법 대비 아티팩트와 노이즈 증폭을 크게 감소시킨다.
• 사전 추정 네트워크(PEN)의 통합으로 자연스럽고 구조 보존성이 향상된 복원 결과를 얻을 수 있다.
• 모델은 복잡한 블러 커널과 다양한 조명 조건에 대해 강건하며, 실세계 이미지로의 일반화 능력이 뛰어나다.
• 제거 실험 결과, 학습된 잠재 맵과 PEN 구성 요소가 최적 성능을 내기 위해 필수적임을 확인하였다.
• 정량적 지표와 정성적 시각 평가 모두에서 기존의 비눈금 복원 방법을 뛰어넘는 성능을 보였다.