[논문 리뷰] Half Wavelet Attention on M-Net+ for Low-Light Image Enhancement

Chi-Mao Fan, Tsung-Jung Liu외 1명|arXiv (Cornell University)|2022. 03. 02.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 개선된 계층적 아키텍처인 M-Net+를 기반으로 한 새로운 저조도 이미지 증강 네트워크인 HWMNet을 제안한다. 이 네트워크는 웨이블릿 도메인에서 보완적인 특징을 캡처하는 반파장 웨이블릿 주의 블록(HWAB)을 통합하여, LOL 및 MIT-Adobe FiveK 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 선도적인 모델들보다 낮은 FLOPs를 기록하여 정확성과 효율성 간의 우수한 트레이드오프를 입증한다.

ABSTRACT

Low-Light Image Enhancement is a computer vision task which intensifies the dark images to appropriate brightness. It can also be seen as an ill-posed problem in image restoration domain. With the success of deep neural networks, the convolutional neural networks surpass the traditional algorithm-based methods and become the mainstream in the computer vision area. To advance the performance of enhancement algorithms, we propose an image enhancement network (HWMNet) based on an improved hierarchical model: M-Net+. Specifically, we use a half wavelet attention block on M-Net+ to enrich the features from wavelet domain. Furthermore, our HWMNet has competitive performance results on two image enhancement datasets in terms of quantitative metrics and visual quality. The source code and pretrained model are available at https://github.com/FanChiMao/HWMNet.

연구 동기 및 목표

• 기존 계층적 네트워크가 풀링 기반 다운샘플링으로 인해 발생하는 공간 정보 손실 문제를 해결하기 위해.
• 새로운 주의 메커니즘을 통해 웨이블릿 도메인 정보를 네트워크에 통합하여 특징 표현을 향상시키기 위해.
• 기존 SOTA 모델들과 비교해도 성능을 유지하거나 향상시키면서 계산 복잡도를 감소시키기 위해.
• 선택적 커널 융합을 통해 다중 해상도 특징을 효과적으로 융합하는 경량이지만 강력한 아키텍처를 개발하기 위해.

제안 방법

• M-Net 기반으로 개선된 계층적 아키텍처인 M-Net+를 제안하며, 최대 풀링 대신 학습 가능한 다운샘플링(픽셀 언슈퍼링)을 도입하여 공간 세부 정보를 유지한다.
• 2D 이산 웨이블릿 변환을 입력 특징에 적용하고, 웨이블릿 서브밴드(LL, LH, HL, HH)에 대해 학습 가능한 주의를 적용한 후 특징을 재구성하는 반파장 웨이블릿 주의 블록(HWAB)을 도입한다.
• 다중 스케일 특징을 연결하는 대신 선택적 커널 특징 융합(SKFF)을 사용하여 특징 통합 효율성을 향상시킨다.
• 재구성 정밀도를 최적화하기 위해 엔드 투 엔드 학습을 수행하며, 샤토니에 손실 함수를 적용한다: $\mathcal{L}_{char} = \sqrt{||\hat{X}-X||^{2} + \varepsilon^{2}}$, $\varepsilon = 10^{-3}$.
• 트렁크 경로에서 가중치 공유 3×3 컨벌루션과 양방향 다운샘플링을 사용하여 다양한 스케일 간의 특징 일관성을 유지한다.
• 에코더 및 디코더 경로에서 게이트형 스킵 연결 메커니즘을 활용하여 기울기 흐름과 특징 전파를 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 M-Net에 비해 수정된 계층적 네트워크 아키텍처(M-Net+)가 저조도 이미지 증강에서 공간 정보 손실을 줄일 수 있는가?
• RQ2 전용 주의 메커니즘(HWAB)을 통해 웨이블릿 도메인 특징을 통합하면 특징의 다양성과 증강 품질이 향상되는가?
• RQ3 제안된 반파장 웨이블릿 주의 메커니즘이 기존 SOTA 모델들과 비교해도 계산 비용을 감소시키면서 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 웨이블릿 주의와 선택적 커널 융합의 조합이 모델의 미세한 디테일 재구성 능력과 색상 정밀도 유지 능력에 어떤 영향을 미치는가?

주요 결과

• LOL 데이터셋에서 HWMNet는 PSNR 24.24, SSIM 0.85, LPIPS 0.12를 기록하여 모든 지표에서 두 번째로 높은 순위를 기록한다.
• MIT-Adobe FiveK 데이터셋에서 HWMNet는 PSNR 24.44와 SSIM 0.914를 기록하여 MIRNet 및 DeepUPE를 포함한 모든 비교 모델들을 능가한다.
• 400×592 이미지에서 HWMNet는 단지 0.92T FLOPs를 차지하여 MIRNet(2.84T) 및 LLFlow(1.05T)보다 현저히 낮은 계산 비용을 기록하여 뛰어난 계산 효율성을 보여준다.
• 두 데이터셋 모두에서의 시각적 비교 결과, HWMNet는 경쟁 모델들보다 더 자연스러운 색상과 더 나은 질감 및 디테일 보존 능력을 보였다.
• 절단 실험 결과, M-Net+ 아키텍처와 HWAB 블록이 성능 향상에 크게 기여하며, 웨이블릿 주의가 특징의 풍부함을 향상시킨다는 것이 확인되었다.
• MIT-Adobe FiveK 데이터셋의 실내 및 실외 환경에서 일관된 성능을 기록함으로써, HWMNet는 다양한 실제 저조도 조건에서도 잘 일반화됨을 입증하였다.