[논문 리뷰] LEDNet: Joint Low-light Enhancement and Deblurring in the Dark

Shangchen Zhou, Chongyi Li외 1명|arXiv (Cornell University)|2022. 02. 07.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 논문은 새로운 대규모 데이터셋 LOL-Blur를 기반으로 훈련된 LEDNet을 제안한다. 이는 포화 영역 블러를 포함한 현실적인 야경 열화를 시뮬레이션하는 새로운 데이터 합성 파이프라인을 도입하여 저조도 향상과 블러 제거를 동시에 수행하는 네트워크이다. EC-Zero-DCE를 활용한 저조도 시뮬레이션과 정확한 블러 모델링을 위한 Clipping Reverse를 도입함으로써, LEDNet은 합성 및 실세계 벤치마크에서 최신 기술 수준의 성능을 달성하여 시야, 선명도, 인지적 품질 측면에서 기존 방법을 능가한다.

ABSTRACT

Night photography typically suffers from both low light and blurring issues due to the dim environment and the common use of long exposure. While existing light enhancement and deblurring methods could deal with each problem individually, a cascade of such methods cannot work harmoniously to cope well with joint degradation of visibility and textures. Training an end-to-end network is also infeasible as no paired data is available to characterize the coexistence of low light and blurs. We address the problem by introducing a novel data synthesis pipeline that models realistic low-light blurring degradations. With the pipeline, we present the first large-scale dataset for joint low-light enhancement and deblurring. The dataset, LOL-Blur, contains 12,000 low-blur/normal-sharp pairs with diverse darkness and motion blurs in different scenarios. We further present an effective network, named LEDNet, to perform joint low-light enhancement and deblurring. Our network is unique as it is specially designed to consider the synergy between the two inter-connected tasks. Both the proposed dataset and network provide a foundation for this challenging joint task. Extensive experiments demonstrate the effectiveness of our method on both synthetic and real-world datasets.

연구 동기 및 목표

• 기존 방법이 쌓인 열화 및 쌍화된 데이터 부족으로 인해 실패하는 야간 이미지에서 저조도 향상과 운동 블러 제거를 동시에 해결하기 위한 도전에 대응한다.
• 저조도 열화뿐만 아니라 야경에서 흔한 포화 영역 블러를 정확하게 모델링할 수 있는 현실적인 데이터 합성 파이프라인을 개발한다.
• 12,000개의 다양한 저블러/정상 선명한 이미지 쌍을 포함한 첫 번째 대규모 쌍화된 데이터셋인 LOL-Blur를 구축한다.
• 단일 순환 패스 내에서 두 작업을 유기적으로 처리할 수 있는 통합 인코더-디코더 네트워크인 LEDNet을 설계한다. 이는 내성적 안정성과 성능 향상을 높인다.

제안 방법

• 노출 제어를 통해 일반 조도 이미지를 어둡게 만들어 현실적인 저조도 열화를 시뮬레이션하는 데 EC-Zero-DCE를 사용한 데이터 합성 파이프라인을 제안한다.
• 블러 시뮬레이션 중 포화 강도를 유지하기 위해 Clipping Reverse (CR)를 도입하여 빛 줄무늬와 포화 영역 블러를 정확하게 모델링할 수 있도록 한다.
• 다양한 어두움 수준과 블러 유형(포화 및 비포화 영역 포함)을 포함한 12,000개의 쌍화된 이미지로 구성된 LOL-Blur 데이터셋을 구축했다.
• 일조 향상 전용 인코더와 블러 제거 전용 디코더를 갖춘 LEDNet을 설계하였으며, 공간적으로 적응형 특징 융합을 위해 특징 기반 스킵 커넥션(FASC)을 연결하였다.
• 전역적 맥락을 제공하고 저조도 향상에서 잡음과 아티팩트를 억제하기 위해 피라미드 풀링 모듈(PPM)을 통합하였다.
• 공간적으로 변동하는 특징 조절을 위한 곡선 기반 비선형 유닛(CurveNLU)을 도입하였으며, 훈련 안정성을 높이기 위해 중간 향상 손실을 도입하였다.

실험 결과

연구 질문

• RQ1 통합 딥 러닝 모델이 저조도 향상과 블러 제거를 동시에 효과적으로 수행할 수 있는가? 기존의 계열적 접근 방식의 한계를 극복할 수 있는가?
• RQ2 야경 이미지에서 흔한 포화 영역 블러를 정확하게 시뮬레이션하여 훈련 데이터 생성에 활용할 수 있는가?
• RQ3 향상과 블러 제거의 안정적이고 견고한 공동 최적화를 위해 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ4 향상과 블러 제거 간의 상호보완적 상호작용이 순차적 처리에 비해 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 데이터 합성 파이프라인은 기존의 합성 데이터셋에 비해 실제 야경 이미지 열화를 얼마나 정확히 모델링하는가?

주요 결과

• LEDNet은 Real-LOL-Blur 벤치마크에서 MUSIQ 점수 39.11을 기록하여 다음으로 우수한 방법(35.37)을 크게 앞서며 뛰어난 인지적 품질을 입증했다.
• 제거 실험 결과, 피라미드 풀링 모듈(PPM)을 제거하면 PSNR가 3.89 dB 감소하고 눈에 띄는 아티팩트가 발생함으로써, 안정성 확보에 있어 PPM의 중요성을 입증했다.
• CurveNLU는 공간적으로 적응형 특징 조절을 가능하게 하며, 시각적 분석 결과 지역적으로 적응적인 특징 향상이 이루어지고 세부 사항을 효과적으로 유지함을 확인했다.
• FASC 연결은 단순 연결보다 우수한 성능을 보이며, SSIM은 0.027 향상되고 PSNR는 0.44 dB 향상되어 공간적으로 변화하는 블러 모델을 다룰 때의 효과성을 입증했다.
• 향상 손실(ℒ_en)을 제거할 경우 성능이 심각하게 저하되며, PSNR가 25.74에서 24.05로 감소함으로써, 공동 최적화의 안정성 확보에 있어 이 손실의 핵심적 역할을 확인했다.
• Clipping Reverse를 포함한 제안된 데이터 합성 파이프라인은 표준 평균화 방식에 비해 더 현실적인 포화 블러를 생성했으며, 시각적 비교와 실세계 야경 이미지에 대한 일반화 성능 향상으로써 검증되었다.