[논문 리뷰] Color-wise Attention Network for Low-light Image Enhancement

Yousef Atoum, Mao Ye외 3명|arXiv (Cornell University)|2019. 11. 20.

Image Enhancement Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 CIE LAB 색상 공간을 사용하여 영상의 밝기와 색상 성분으로 분해하고, 두 개의 CNN을 통해 각각 개선하는 Color-wise Attention Network (CWAN)을 제안한다: 밝기 및 노이즈 감소를 위한 CWAN L과, 색상 주파수 기반 주의 메커니즘을 갖춘 CWAN AB로, 핵심 전경 색상의 유지 및 강화를 도모한다. 이 방법은 정량적 지표와 사용자 연구에서 최고 성능을 기록하며, 개선된 색상 정확도와 밝기 순서 유지로 생생하고 자연스러운 결과를 생성한다.

ABSTRACT

Absence of nearby light sources while capturing an image will degrade the visibility and quality of the captured image, making computer vision tasks difficult. In this paper, a color-wise attention network (CWAN) is proposed for low-light image enhancement based on convolutional neural networks. Motivated by the human visual system when looking at dark images, CWAN learns an end-to-end mapping between low-light and enhanced images while searching for any useful color cues in the low-light image to aid in the color enhancement process. Once these regions are identified, CWAN attention will be mainly focused to synthesize these local regions, as well as the global image. Both quantitative and qualitative experiments on challenging datasets demonstrate the advantages of our method in comparison with state-of-the-art methods.

연구 동기 및 목표

• 시야, 대비, 색상 정확도가 심각하게 떨어지는 저조도 영상 향상 문제를 해결하기 위해.
• 핵심 색상 영역에 대한 인간 시각 주의를 모방하여 저조도 영상의 색상 복원을 향상시키기 위해.
• 저조도 영상 향상 문제를 독립적인 밝기 및 색상 향상 작업으로 분해함으로써 단순화하기 위해.
• 핵심 색상 특징을 기반으로 한 감독 주의 메커니즘을 개발하여 전경 색상에 집중하기 위해.
• 실제 및 합성 저조도 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 저조도 영상가 CIE LAB 색상 공간을 사용하여 밝기(L) 및 색상(AB) 성분으로 분해한다.
• CWAN L은 메모리 네트워크 구조를 사용하여 밝기 성분을 향상시켜 밝기 향상과 노이즈 감소를 도모한다.
• CWAN AB는 색상 주파수 맵을 사용하여 인간 시각 인지에 기반해 중간 주파수 카운트를 가지는 핵심 전경 색상 영역을 식별하고 우선순위를 정한다.
• CWAN AB의 주의 메커니즘은 선택된 색상 주파수를 사용하여 감독되어 관심 영역의 향상에 유도한다.
• L1 손실을 RGB 데이터에 적용하여 엔드 투 엔드로 학습하며, L 및 AB 성분에 대해 별도 최적화를 수행한다.
• 색채도와 밝기 순서 유지(LOE)는 색상 품질과 구조적 충실도 평가를 위한 추가 평가 지표로 사용된다.

실험 결과

연구 질문

• RQ1 색상 주파수 기반 주의 메커니즘이 저조도 영상에서 자연스러운 색상 복원에 기여하는가?
• RQ2 밝기와 색상 향상을 분리함으로써 통합 향상보다 더 나은 성능을 내는가?
• RQ3 순수하게 공간적 또는 특징 맵에 기반한 주의 메커니즘보다 핵심 색상 특징에 의해 유도된 감독 주의 메커니즘이 더 우수한가?
• RQ4 제안된 방법은 밝기 순서 유지와 색채도 유지에서 최고 성능을 내는가?
• RQ5 인간 시각 체계가 전경 색상에 집중하는 정도가 향상 결과 향상과 얼마나 관련이 있는가?

주요 결과

• SID Sony 데이터셋에서 CWAN은 PSNR 28.56, SSIM 0.909로 모든 베이스라인을 앞서며 최고 성능을 기록했다.
• HDRDB 데이터셋에서 CWAN은 평균 순위 2.32를 기록하며 낮은 표준편차 1.73를 보여 강한 공감과 시각적 선호도를 나타냈다.
• 모든 방법 중에서 가장 낮은 LOE 값(30.53)을 기록하여 강화된 영상에서 밝기 순서 유지 능력이 뛰어나다는 것을 입증했다.
• HDRDB에서 색채도 지표가 가장 높은 40.38을 기록하여 생생하고 자연스러운 색상 복원 효과를 확인했다.
• 정성적 결과에서 CWAN은 LightenNet 및 SID와 같은 방법보다 더 나은 세밀한 색상 세부 정보 복원 능력을 보였으며, 과도한 향상이나 회색조 무늬의 잡음 없이 성능을 냈다.
• PASCAL 1000에서 SSIM은 두 번째로 우수했고, 다른 모든 지표에서 최고 성능을 기록하여 다양한 데이터셋에 대한 강력한 탄력성을 확인했다.