[논문 리뷰] SurroundNet: Towards Effective Low-Light Image Enhancement

Fei Zhou, Xin Sun외 3명|arXiv (Cornell University)|2021. 10. 11.

Image Enhancement Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 <150K 파라미터를 가진 경량 딥러닝 모델인 SurroundNet을 제안한다. 이는 조명 추정을 위한 새로운 적응형 둘레 기능(ASF)과 단일 스케일 리티누스를 특징 공간으로 확장한 적응형 레티누스 블록(ARBlock)을 통해 최신 기술 수준의 성능을 달성한다. 또한 강화 이전에 노이즈를 억제하기 위해 저노출 노이즈 제거기(LED)를 포함하여 실제 데이터셋에서 품질과 효율성 면에서 기존 최신 기술을 능가한다.

ABSTRACT

Although Convolution Neural Networks (CNNs) has made substantial progress in the low-light image enhancement task, one critical problem of CNNs is the paradox of model complexity and performance. This paper presents a novel SurroundNet which only involves less than 150$K$ parameters (about 80-98 percent size reduction compared to SOTAs) and achieves very competitive performance. The proposed network comprises several Adaptive Retinex Blocks (ARBlock), which can be viewed as a novel extension of Single Scale Retinex in feature space. The core of our ARBlock is an efficient illumination estimation function called Adaptive Surround Function (ASF). It can be regarded as a general form of surround functions and be implemented by convolution layers. In addition, we also introduce a Low-Exposure Denoiser (LED) to smooth the low-light image before the enhancement. We evaluate the proposed method on the real-world low-light dataset. Experimental results demonstrate that the superiority of our submitted SurroundNet in both performance and network parameters against State-of-the-Art low-light image enhancement methods. Code is available at https: github.com/ouc-ocean-group/SurroundNet.

연구 동기 및 목표

• 저조도 영상 강화에서 모델 복잡도와 성능 간의 상충 관계를 해결하기 위해.
• CNN 기반 저조도 영상 강화 네트워크의 파라미터 수를 줄이면서도 성능을 유지하거나 향상시키기 위해.
• 학습 가능한 효율적인 조명 추정 함수를 통해 리티누스 이론의 사전 지식을 딥러닝에 통합하기 위해.
• 강화 과정에서 노이즈에 대한 강건성과 이미지 구조의 유지 보존을 향상시키기 위해.
• 실시간 또는 자원 제약이 있는 응용 프로그램에 적합한 경량이며 엔드 투 엔드 학습 가능한 네트워크를 개발하기 위해.

제안 방법

• 조명 지ap 추정을 위한 스택드 2D 컨볼루션의 대체로 학습 가능한 파라미터 효율적인 기능으로서 적응형 둘레 기능(ASF)을 제안한다.
• 특징 공간에서 ASF를 적용하는 적응형 레티누스 블록(ARBlock)을 설계하여 단일 스케일 리티누스를 딥 네트워크로 확장한다.
• 입력을 강화하기 이전에 노이즈를 줄이기 위해 합성 저조도 영상으로 훈련된 저노출 노이즈 제거기(LED) 모듈을 도입한다. 이는 노이즈 증폭을 감소시킨다.
• 최소한의 파라미터 증가로 특징 표현을 향상시키기 위해 효율적 채널 주의(ECA) 모듈을 사용한다.
• 이중 단계 훈련 전략을 사용한다: 먼저 LED를 저노출 영상에서 사전 훈련하고, 그 다음에 강화 출력에 대한 감독 하에 전체 SurroundNet을 공동으로 훈련한다.
• 다중 목표 손실을 통해 인지적 및 자연 영상 품질 지표(PSNR, SSIM, NIQE, LPIPS)를 최적화한다.

실험 결과

연구 질문

• RQ1 학습 가능한 파라미터 효율적인 둘레 기능이 저조도 강화에서 스택드 2D 컨볼루션의 대체로 사용될 수 있는가?
• RQ2 특징 공간에서 ARBlock을 통해 리티누스 이론을 적용하면 모델 크기를 줄이면서도 강화 품질을 향상시킬 수 있는가?
• RQ3 저노출 데이터로 훈련된 전용 노이즈 제거 모듈이 강화 과정에서 노이즈 증폭을 줄이고 강건성을 향상시킬 수 있는가?
• RQ4 모델 깊이(ARBlock 수)와 품질 및 파라미터 수 간의 최적의 트레이드오프는 무엇인가?
• RQ5 ECA 주의 모듈의 통합이 모델 복잡도를 크게 증가시키지 않으면서도 특징 표현을 어떻게 향상시키는가?

주요 결과

• SurroundNet은 실제 저조도 데이터셋에서 150K 이하의 파라미터로 경쟁적인 성능을 달성했으며, SOTA 방법 대비 80-98% 더 작다.
• 사용된 ARBlock 수가 4개인 모델은 PSNR 21.77과 SSIM 0.835를 기록하여 대부분의 지표에서 3개 및 5개 ARBlock 버전을 능가한다.
• 3500 에포크 동안 훈련한 결과 LED 모듈은 SSIM을 0.08 향상시키고 LPIPS를 0.013 감소시켜 노이즈 억제 효과를 확인한다.
• ECA 모듈은 파라미터 수가 3k 증가하는 데 그치지만 PSNR를 2.58 향상시키고 SSIM을 0.022 향상시켜 높은 효율성을 보여준다.
• 시각적 비교 결과 SurroundNet은 화이트업, 색상, 선명도를 개선하면서도 아티팩트 없이 작동하며, SOTA 방법과 달리 환영이나 낮은 채도 문제를 야기하지 않는다.
• 절단 실험 결과 ASF, ARBlock, LED, ECA의 조합이 가장 뛰어난 성능을 내며, 개별 구성 요소 중 하나가 불필요하지 않음을 확인한다.