[논문 리뷰] Learning Deep Context-Sensitive Decomposition for Low-Light Image Enhancement

Long Ma, Risheng Liu외 3명|arXiv (Cornell University)|2021. 12. 09.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 저조도 영상 향상에 대한 딥러닝 프레임워크인 CSDNet을 제안하며, 구조적 및 색상 정보를 유지하면서 반사율과 조명을 동시에 추정하기 위해 맥락 민감한 분해 기법을 활용한다. 물리적 사전 지식과 공간적으로 변하는 조명 가이던스를 통합함으로써 최소한의 잡음으로 최신 기술 수준의 성능을 달성하였으며, 추가로 파rameter 수가 0.03M 미만인 경량 버전(LiteCSDNet 및 SLiteCSDNet)을 제안하여 전체 모델와 거의 동일한 품질을 확보하였다.

ABSTRACT

Enhancing the quality of low-light images plays a very important role in many image processing and multimedia applications. In recent years, a variety of deep learning techniques have been developed to address this challenging task. A typical framework is to simultaneously estimate the illumination and reflectance, but they disregard the scene-level contextual information encapsulated in feature spaces, causing many unfavorable outcomes, e.g., details loss, color unsaturation, artifacts, and so on. To address these issues, we develop a new context-sensitive decomposition network architecture to exploit the scene-level contextual dependencies on spatial scales. More concretely, we build a two-stream estimation mechanism including reflectance and illumination estimation network. We design a novel context-sensitive decomposition connection to bridge the two-stream mechanism by incorporating the physical principle. The spatially-varying illumination guidance is further constructed for achieving the edge-aware smoothness property of the illumination component. According to different training patterns, we construct CSDNet (paired supervision) and CSDGAN (unpaired supervision) to fully evaluate our designed architecture. We test our method on seven testing benchmarks to conduct plenty of analytical and evaluated experiments. Thanks to our designed context-sensitive decomposition connection, we successfully realized excellent enhanced results, which fully indicates our superiority against existing state-of-the-art approaches. Finally, considering the practical needs for high-efficiency, we develop a lightweight CSDNet (named LiteCSDNet) by reducing the number of channels. Further, by sharing an encoder for these two components, we obtain a more lightweight version (SLiteCSDNet for short). SLiteCSDNet just contains 0.0301M parameters but achieves the almost same performance as CSDNet.

연구 동기 및 목표

• 기존 딥러닝 기반의 저조도 영상 향상 방법에서의 한계, 즉 세부 정보 손실, 색상 왜곡, 부적절한 맥락 모델링으로 인한 잡음 문제를 해결한다.
• 공간 스케일 전역에서의 시나리오 수준 맥락적 의존성을 유지하면서 반사율과 조명을 동시에 추정할 수 있는 새로운 이중 스트림 네트워크 아키텍처를 개발한다.
• 맥락 민감한 분해 연결을 통해 물리적 사전 지식을 네트워크에 통합하여 영상의 정확성과 현실감을 향상시킨다.
• 다양한 실제 데이터 환경을 고려하여 쌍체(예: CSDNet)와 비쌍체(예: CSDGAN) 학습 전략을 설계한다.
• 성능 저하 없이 고효율 추론을 가능하게 하기 위해 경량 버전(LiteCSDNet 및 SLiteCSDNet)을 개발한다.

제안 방법

• 반사율과 조명 추정을 위한 별도의 브랜치를 가진 이중 스트림 네트워크를 제안하며, 물리적 일관성을 강제하기 위해 맥락 민감한 분해 모듈로 연결한다.
• 조명 성분의 에지 인식형 부드러움을 향상시키기 위해 공간적으로 변하는 조명 가이던스 모듈을 도입하여 과도한 부드러움을 방지하고 날카운 전이를 유지한다.
• 특징 수준과 이미지 수준에서 동시에 작동하는 맥락 민감한 분해 연결을 설계하여 장거리 공간적 의존성을 명시적으로 모델링함으로써 맥락 이해도를 향상시킨다.
• CSDGAN에서 잔차 연결을 활용하여 학습 안정성을 향상시키고, 과도한 노출 및 색상 왜곡 문제를 완화한다.
• 모든 블록의 채널 수를 12로 줄여서 LiteCSDNet을 구성함으로써 파라미터 수를 크게 감소시키면서도 성능을 유지한다.
• 반사율과 조명 브랜치 간에 인코더를 공유함으로써 SLiteCSDNet을 개발하여 파라미터 수를 0.0301M로 반으로 줄였다.

실험 결과

연구 질문

• RQ1 시나리오 수준의 맥락적 의존성을 명시적으로 모델링하는 딥러닝 프레임워크가 현재 최신 기술 수준의 방법을 초월하여 저조도 영상 향상에 기여할 수 있는가?
• RQ2 맥락 민감한 분해 연결을 통한 물리적 사전 지식 통합이 향상된 영상의 품질과 현실감에 어떤 영향을 미치는가?
• RQ3 공간적으로 변하는 연산을 적용한 조명 가이던스가 저조도 영상 향상에서 잡음과 에지 유지에 얼마나 기여하는가?
• RQ4 네트워크의 경량 버전이 성능 저하 없이 고효율 추론을 달성할 수 있는가?
• RQ5 다양한 저조도 데이터셋에 걸쳐 신뢰성과 일반화 능력 측면에서 쌍체 및 비쌍체 학습 전략은 어떻게 상호 비교되는가?

주요 결과

• CSDNet은 MIT-Adobe FiveK, LOL, ExDark, NPE 등 일곱 가지 벤치마크에서 최신 기술 수준의 성능을 기록하였으며, 뛰어난 시각적 품질과 극히 적은 잡음으로 인식되었다.
• 기존 방법들인 RetinexNet, KinD, LightenNet과 비교해도 정성적·정량적 평가에서 모두 뛰어난 성능을 보였으며, 세밀한 디테일과 생생한 색상 정보를 효과적으로 유지하면서 노이즈를 억제하였다.
• LiteCSDNet은 다른 최신 기술 수준의 모델 대비 파라미터 수를 97% 이상 감소시켰고, MIT-Adobe FiveK 데이터셋에서 성능 저하가 거의 없었다.
• SLiteCSDNet은 파라미터 수가 단지 0.0301M에 불과했으며, LiteCSDNet의 절반 수준이었고, CSDNet과 거의 동일한 시각적 품질을 유지를 하였다.
• 조명 가이던스 모듈은 다양한 이미지 유형에 대한 제거 실험을 통해 잡음 감소와 밝기 향상에 뚜렷한 기여를 하였다.
• CSDGAN의 잔차 연결은 과도한 노출과 색상 왜곡을 효과적으로 완화하여 학습 안정성과 출력 일관성을 향상시켰다.