[논문 리뷰] MSR-net:Low-light Image Enhancement Using Deep Convolutional Network

Liang Shen, Zihan Yue외 4명|arXiv (Cornell University)|2017. 11. 07.

Image Enhancement Techniques참고 문헌 2인용 수 256

한 줄 요약

MSR-net은 다중 스케일 Retinex를 CNN과 결합하여 어두운 이미지를 밝은 이미지로 매핑하는 감독형(end-to-end) 학습 문제로 저조도 이미지 향상을 공식화한다. 이 모델은 역전파(back-propagation)로 학습되며 합성 데이터와 실제 데이터에서 여러 최첨단 방법들을 능가한다.

ABSTRACT

Images captured in low-light conditions usually suffer from very low contrast, which increases the difficulty of subsequent computer vision tasks in a great extent. In this paper, a low-light image enhancement model based on convolutional neural network and Retinex theory is proposed. Firstly, we show that multi-scale Retinex is equivalent to a feedforward convolutional neural network with different Gaussian convolution kernels. Motivated by this fact, we consider a Convolutional Neural Network(MSR-net) that directly learns an end-to-end mapping between dark and bright images. Different fundamentally from existing approaches, low-light image enhancement in this paper is regarded as a machine learning problem. In this model, most of the parameters are optimized by back-propagation, while the parameters of traditional models depend on the artificial setting. Experiments on a number of challenging images reveal the advantages of our method in comparison with other state-of-the-art methods from the qualitative and quantitative perspective.

연구 동기 및 목표

• Retinex 이론을 활용하는 저조도 이미지 향상을 위한 학습 기반 접근법을 동기화하고 개발한다.
• 다중 스케일 Retinex를 CNN으로 표현할 수 있어 엔드-투-엔드 학습이 가능함을 보인다.
• 사전/사후 처리 최소화로 어두운 이미지를 직접 밝은 이미지로 매핑하는 MSR-net을 개발한다.
• 합성 데이터와 실제 데이터에서 기존의 최첨단 방법과 비교 평가한다.
• 매개변수 민감도와 실행 시간 성능을 분석한다.

제안 방법

• 다중 스케일 Retinex가 다중 가우시안형 서라운드로 구성된 CNN에 해당함을 보여준다.
• 세 가지 구성요소를 갖는 MSR-net를 제안한다: Multi-scale Logarithmic Transformation, Difference-of-convolution, 및 Color Restoration Function.
• n=4 스케일의 다중 스케일 로그 변환을 사용한다( v in {1,10,100,300}); 출력을 연결하고 1x1 및 소형 컨볼루션을 적용해 특징을 융합한다.
• 여러 스케일 컨볼루션을 집계하고 매끄럽게 하기 위해 1x1 컨볼루션을 사용하는 center/surround 차이를 시뮬레이션하기 위해 Difference-of-convolution을 구현한다.
• 최종 향상 이미지를 생성하기 위해 1x1 컨볼루션으로 Color Restoration Function을 모방한다.
• Frobenius-norm 손실과 가중치 규제를 더해 엔드-투-엔드로 학습하고, 역전파를 통해 모든 네트워크 매개변수를 최적화한다.

실험 결과

연구 질문

• RQ1 엔드투엔드로 학습된 CNN 기반 모델이 저조도 향상을 위한 전통적 Retinex 기반 및 히스토그램 기반 방법보다 성능이 더 좋을 수 있는가?
• RQ2 다중 스케일 Retinex를 CNN 계층으로 표현하는 것이 향상된 이미지의 자연스러움과 질감 디테일을 향상시키는가?
• RQ3 네트워크 깊이와 다중 스케일 로그 변환이 향상 품질에 미치는 영향은 무엇인가?
• RQ4 MSR-net이 합성 데이터셋과 실제 세계의 저조도 데이터셋에서 지각 및 품질 지표 측면에서 어떤 성능을 보이는가?
• RQ5 MSR-net과 함께 후처리(예: 잡음 제거)를 적용할 때 실제 세계의 저조도 이미지에 미치는 효과는 무엇인가?

주요 결과

• MSR-net은 2,000개의 합성 테스트 이미지에서 여러 경쟁 방법들보다 높은 SSIM과 더 낮은 NIQE를 달성한다.
• 실제 이미지에서 MSR-net은 어두운 영역에서 더 밝고 자연스러운 결과를 제공하며 질감 및 디테일 보존이 개선된다.
• 각도 오차 측정은 색상 일관성이 향상되었음을 보여주며, MSR-net이 비교 방법들 중 가장 낮은 각도 오차를 달성한다.
• MSR-net은 여러 실제 데이터세트에서 디스크리트 엔트로피/NIQE에서도 경쟁력 있거나 우수한 성능을 유지한다.
• GPU 기반 추론은 비-딥 방법에 비해 처리 속도를 크게 높이며 CPU 실행 대비 상당한 이점을 제공한다.
• 잡음 제거 포스트 프로세싱 단계(BM3D)가 실제 세계의 저조도 이미지에서 시각적 품질을 추가로 향상시킬 수 있다.