[논문 리뷰] Fast Enhancement for Non-Uniform Illumination Images using Light-weight CNNs

Feifan Lv, Bo Liu외 1명|arXiv (Cornell University)|2020. 05. 31.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 비균일 조명 조건 이미지의 실시간 향상용 경량 CNN을 제안하며, 약 5,000개의 파라미터를 사용한다. 이는 Retinex 기반 이중 향상(부족 노출 및 과도 노출 영역)을 융합하고 잔여 노이즈 및 아티팩트를 제거하는 방식이다. 0.5MP 이미지에서 약 50fps의 실시간 성능을 달성하며, 새로운 반감독 학습 데이터셋(약 82,000장의 이미지 쌍)을 사용해 기존 최고 성능(SOTA) 방법보다 속도와 품질 면에서 뛰어난 성능을 보였다.

ABSTRACT

This paper proposes a new light-weight convolutional neural network (5k parameters) for non-uniform illumination image enhancement to handle color, exposure, contrast, noise and artifacts, etc., simultaneously and effectively. More concretely, the input image is first enhanced using Retinex model from dual different aspects (enhancing under-exposure and suppressing over-exposure), respectively. Then, these two enhanced results and the original image are fused to obtain an image with satisfactory brightness, contrast and details. Finally, the extra noise and compression artifacts are removed to get the final result. To train this network, we propose a semi-supervised retouching solution and construct a new dataset (82k images) contains various scenes and light conditions. Our model can enhance 0.5 mega-pixel (like 600*800) images in real time (50 fps), which is faster than existing enhancement methods. Extensive experiments show that our solution is fast and effective to deal with non-uniform illumination images.

연구 동기 및 목표

• 노출, 대비, 색상, 노이즈, 아티팩트를 동시에 다루며 비균일 조명 조건 이미지를 향상시키는 도전 과제를 해결한다.
• 약 5,000개의 파라미터로 매우 적은 계산 자원을 요구하므로 모바일 및 임베디드 시스템에 적합한 경량 딥러닝 모델을 개발한다.
• 기존 Retinex 방법이 동시에 부족 노출 및 과도 노출 영역을 향상시킬 수 없는 한계를 극복한다.
• 반감독 토닝 파이프라인을 활용해 COCO 데이터셋의 실제 이미지에 다양한 노출 조건을 시뮬레이션하여, 비균일 조명 조건 향상용 대규모이고 다양한 샘플을 포함한 기준 데이터셋을 구축한다.
• 0.5MP 이미지에서 실시간 추론 속도(약 50fps)를 확보하면서도 높은 시각적 및 정량적 성능 유지를 달성한다.

제안 방법

• 원본 이미지와 그 역상 이미지를 별도로 처리하여 Retinex 이론을 적용함으로써 각각 부족 노출 영역과 과도 노출 영역을 향상시킨다.
• 두 Retinex 향상 결과와 원본 이미지를 융합하여 균형 잡힌 노출 보정 결과를 생성하며, 대비와 세부 정보가 향상된 이미지를 확보한다.
• 융합 결과에서 잔여 노이즈 및 압축 아티팩트를 제거하기 위해 경량 CNN(Restoration-Net)을 사용한다.
• 실제 이미지에 다양한 노출 조건을 시뮬레이션하여 COCO 데이터셋에서 유래한 이미지를 활용해 반감독 토닝 파이프라인을 설계하여 훈련용 쌍 데이터를 생성한다.
• 다양한 시나리오와 조명 조건을 포함한 약 82,000장의 이미지 쌍으로 구성된 새로운 데이터셋을 구축하여 모델의 훈련 및 평가를 수행한다.
• 시각적 품질과 정확도 향상을 위해 인지적, 구조적, 조명 인식 손실을 포함하는 다성분 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 경량 CNN이 노출, 대비, 색상, 노이즈, 아티팩트를 동시에 다루며 비균일 조명 조건 이미지를 효과적으로 향상시킬 수 있는가?
• RQ2 원본 및 역상 이미지에 대한 이중 경로 Retinex 향상 방식이 표준 Retinex보다 균형 잡힌 부족 및 과도 노출 보정을 더 잘 달성하는가?
• RQ3 반감독 데이터 생성 파이프라인이 완전한 레이블링 없이도 고품질이고 다양한 훈련 쌍을 생성할 수 있는가?
• RQ4 모델 크기가 실시간 이미지 향상에서 성능과 추론 속도에 미치는 영향은 어느 정도인가?
• RQ5 제안된 방법이 0.5MP 이미지에서 실시간 추론(예: 50fps)을 달성하면서도 정량적 및 정성적 지표에서 SOTA를 초월할 수 있는가?

주요 결과

• 제안된 모델은 0.5MP 이미지에서 약 50fps의 실시간 추론 속도를 확보하여 기존의 향상 방법보다 훨씬 빠른 성능을 보였다.
• 약 5,000개의 파라미터를 가진 모델은 제안된 데이터셋에서 PSNR 22.68, SSIM 0.92의 성능을 기록하며, 더 큰 모델 및 SOTA 방법을 뛰어넘었다.
• 제거 실험 결과, 인지적, 구조적, 조명 인식, 정체성 손실을 모두 포함한 경우가 가장 우수한 성능을 보였으며, 손실 없이 실험했을 때 PSNR 20.26에서 전체 손실 적용 시 22.68로 향상되었다.
• 반감독 데이터 생성 파이프라인이 다양한 고품질의 약 82,000장의 이미지 쌍을 성공적으로 생성하여, 완전한 레이블링 없이도 효과적인 훈련이 가능하도록 했다.
• 시각적 품질 면에서 기존 SOTA 방법보다 뛰어나, 색상 정확도가 높고 더 풍부한 세부 정보, 더 높은 대비, 더 적은 아티팩트를 가진 이미지를 생성했다.
• 실패 사례 분석 결과, 완전히 과도하거나 부족 노출된 영역에서는 세부 정보 복구에 실패하는 것으로 나타나 극단적인 조명 조건에서는 한계를 보였다.