[논문 리뷰] Low-light Image Enhancement by Retinex Based Algorithm Unrolling and Adjustment

Xinyi Liu, Qi Xie외 3명|arXiv (Cornell University)|2022. 02. 12.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 Retinex 기반 최적화 알고리즘을 신경망으로 전개하여 데이터 기반 사전 지식과 전통적 영상 사전 지식을 통합하는 새로운 딥러닝 프레임워크를 제안한다. 알고리즘 전개에 영감을 받은 분해 네트워크와 전역 및 국소 밝기 조정을 위한 듀얼패스 조정 모듈을 활용하여, 수동 하이퍼파라미터 조정 없이 자기지도 학습 미세조정 전략을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Motivated by their recent advances, deep learning techniques have been widely applied to low-light image enhancement (LIE) problem. Among which, Retinex theory based ones, mostly following a decomposition-adjustment pipeline, have taken an important place due to its physical interpretation and promising performance. However, current investigations on Retinex based deep learning are still not sufficient, ignoring many useful experiences from traditional methods. Besides, the adjustment step is either performed with simple image processing techniques, or by complicated networks, both of which are unsatisfactory in practice. To address these issues, we propose a new deep learning framework for the LIE problem. The proposed framework contains a decomposition network inspired by algorithm unrolling, and adjustment networks considering both global brightness and local brightness sensitivity. By virtue of algorithm unrolling, both implicit priors learned from data and explicit priors borrowed from traditional methods can be embedded in the network, facilitate to better decomposition. Meanwhile, the consideration of global and local brightness can guide designing simple yet effective network modules for adjustment. Besides, to avoid manually parameter tuning, we also propose a self-supervised fine-tuning strategy, which can always guarantee a promising performance. Experiments on a series of typical LIE datasets demonstrated the effectiveness of the proposed method, both quantitatively and visually, as compared with existing methods.

연구 동기 및 목표

• 기존 Retinex 기반 딥러닝 방법들이 전통적 사전 지식을 충분히 활용하지 못하고, 최적화되지 않은 조정 모듈을 사용하는 한계를 해결하기 위해.
• 알고리즘 전개를 통해 암묵적인 데이터 사전 지식과 명시적인 전통적 사전 지식을 통합하여 영상 분해를 향상시키기 위해.
• 전역 조명과 국소 밝기 민감도를 모두 고려하는 단순하면서도 효과적인 조정 네트워크를 설계하기 위해.
• 수동 하이퍼파라미터 조정이 필요 없도록 자기지도 학습 미세조정 전략을 도입하여 높은 성능를 유지하기 위해.

제안 방법

• 분해 네트워크는 Retinex 기반 최적화 과정의 알고리즘 전개를 통해 구축되어 데이터 기반 및 전통적 사전 지식의 통합이 가능해진다.
• 조정 네트워크는 전역 밝기 조정을 위한 하나의 지류와 국소 밝기 민감도 조정을 위한 다른 지류로 구성되며, 세부 사항 보존을 향상시킨다.
• 프레임워크는 쌍체의 실제 데이터가 필요 없이 네트워크 파라미터를 자동으로 적응시키는 자기지도 학습 미세조정 전략을 사용한다.
• 최적화 과정은 준뉴턴 방법으로 모델링되며, 헤시안 행렬 근사치를 사용하여 효율적이고 안정적인 학습을 가능하게 한다.
• 이 방법은 반사율, 조명, 기울기 사전 지식을 포함하는 최소화 문제로 영상 강화를 공식화하며, 반복적 업데이트를 통해 해결한다.
• 최종 출력은 요소별 연산을 통해 공간 일관성을 유지하면서 향상된 반사율 층과 조정된 조명을 조합하여 생성된다.

Figure 1: Illustration of the proposed LIE framework.

실험 결과

연구 질문

• RQ1 알고리즘 전개를 통해 전통적 영상 사전 지식과 딥러닝을 효과적으로 통합할 수 있는가?
• RQ2 전역 및 국소 밝기를 동시에 처리할 수 있는 단순하면서도 효과적인 조정 모듈을 어떻게 설계할 수 있는가?
• RQ3 자기지도 학습 미세조정 전략을 통해 수동 하이퍼파라미터 조정이 필요 없이도 높은 성능를 유지할 수 있는가?
• RQ4 데이터 기반 사전 지식과 전통적 방법에서 유도된 명시적 사전 지식을 통합하면 더 나은 분해 및 강화 결과를 얻을 수 있는가?

주요 결과

• 제안된 방법은 다양한 표준 저조도 영상 강화 벤치마크에서 정량적 및 정성적 측면에서 최신 기술 수준의 성능를 달성한다.
• 자기지도 학습 미세조정 전략은 지도 학습에 필요한 진짜 레이블이나 수동 조정 없이도 다양한 데이터셋에서 일관되게 성능을 향상시킨다.
• 알고리즘 전개를 통한 데이터 기반 사전 지식과 전통적 사전 지식의 통합은 조명과 반사율의 더 정확하고 물리적으로 타당한 분해를 이끈다.
• 듀얼패스 조정 네트워크는 단일 경로 또는 복잡한 네트워크 기반 조정 모듈에 비해 세부 사항 복구와 색상 정확도를 크게 향상시킨다.
• 벤치마크 데이터셋에서 PSNR, SSIM, LPIPS 지표에서 기존 Retinex 기반 딥러닝 모델들을 모두 초월한다.

(a) The entire decomposition network.