[논문 리뷰] Learning-Based Dequantization For Image Restoration Against Extremely Poor Illumination

Chang Liu, Xiaolin Wu외 1명|arXiv (Cornell University)|2018. 03. 05.

Image Enhancement Techniques참고 문헌 3인용 수 10

한 줄 요약

이 논문은 극도로 어두운 조명 조건에서 A/D 양자화 손실로 인해 세부 정보가 손실된 이미지를 복원하기 위한 학습 기반의 복원 방법을 제안한다. 알고리즘적 조명 보정과 합성 데이터로 훈련된 딥 컨volution 네트워크를 결합함으로써, 기존 방법이 회복하지 못하는 픽셀 수준의 세부 정보를 복원하며, 합성 및 실세계 저조도 이미지에서 최신 기술을 크게 능가한다.

ABSTRACT

All existing image enhancement methods, such as HDR tone mapping, cannot recover A/D quantization losses due to insufficient or excessive lighting, (underflow and overflow problems). The loss of image details due to A/D quantization is complete and it cannot be recovered by traditional image processing methods, but the modern data-driven machine learning approach offers a much needed cure to the problem. In this work we propose a novel approach to restore and enhance images acquired in low and uneven lighting. First, the ill illumination is algorithmically compensated by emulating the effects of artificial supplementary lighting. Then a DCNN trained using only synthetic data recovers the missing detail caused by quantization.

연구 동기 및 목표

• 극도로 어두운 조명 조건에서 A/D 양자화로 인한 영구적인 세부 정보 손실 문제를 해결하기 위해, 기존 이미지 강화 기법이 실패하는 상황을 대비한다.
• 저역동 범위 신호에서 A/D 변환 과정에서 소실된 세분화된 픽셀 수준의 세부 정보를 복원할 수 있는 데이터 기반 접근법을 개발한다.
• 자동 노출 및 톤 맵핑이 부족한 불량하거나 불균일한 조명 조건에서도 효과적인 이미지 복원을 가능하게 한다.
• 일반적으로 이용 가능한 JPEG 이미지를 활용해 현실적인 저조도 합성 데이터를 생성할 수 있는 확장 가능한 훈련 파이프라인을 구축한다.

제안 방법

• 먼저 물리적 이미지 형성 모델을 사용해 알고리즘적 조명 보정을 수행하여 인공 조명을 모의하고 역동 범위를 확장한다.
• 통제된 A/D 양자화를 통해 고역동 범위 잠재 이미지를 열악한 조명 조건으로 악화시켜 합성 저조도 훈련 데이터를 생성한다. 이는 실제 저조도 환경의 특징을 모의한다.
• 딥 컨volution 네트워크(DCNN)를 사용해 압축된 신호를 복원하여, 양자화된 저조도 이미지에서 손실된 픽셀 수준의 세부 정보를 복원한다.
• 훈련 데이터 생성 과정은 표준 JPEG 이미지를 입력으로 받아, 다양한 실세계 이미지 데이터에 접근할 수 있도록 설계되어 있다.
• DCNN은 복원된 출력과 기준 잠재 이미지 간의 재구성 오차를 최소화함으로써 고해상도, 세부 정보가 풍부한 출력을 예측하도록 학습한다.
• 최종적으로는 로컬 조명 보정과 비선형 복원을 종합적으로 통합한 엔드 투 엔드 딥 러닝 기반의 접근법을 통해, 시각적으로 향상되고 고정밀도의 이미지를 출력한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 극도로 어두운 조명 조건에서 A/D 양자화로 인해 손실된 이미지 세부 정보를 효과적으로 복원할 수 있는가?
• RQ2 표준 JPEG 이미지에서 유도된 합성 훈련 데이터는 실세계 저조도 이미지 복원에 대해 얼마나 잘 일반화되는가?
• RQ3 알고리즘적 조명 보정과 딥 복원의 조합이 기존 강화 기법(예: CLAHE, OCTM, LIME, SRIE)보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 기존 방법이 실패하는 실사진에서 얼굴 특징이나 번호판과 같은 세부 정보를 제안된 방법이 복원할 수 있는가?
• RQ5 학습에 사용되지 않은 HDR 이미지에서 유도된 새로운 저조도 조건에 대해서도 복원 네트워크가 강인한가?

주요 결과

• 제안된 방법은 합성 전역 및 국소 저조도 이미지에서 CLAHE, OCTM, LIME, SRIE보다 세부 정보 복원 성능이 뛰어나며, 최소한의 잡음으로 인한 왜곡을 보인다.
• 실사진에서는 다른 방법들이 블록화 잡음이나 과도한 강화를 유발하는 반면, 제안된 방법은 얼굴 세부 정보와 번호판을 성공적으로 복원한다.
• 복원 네트워크는 학습에 포함되지 않은 HDR 기반 저조도 이미지에 대해서도 잘 일반화되어 있다.
• 시각적 비교 결과, 오직 제안된 방법만이 양자화 잡음과 지역 대비를 효과적으로 감소시키며, 특히 하늘이나 도로와 같은 매끄러운 영역에서 양호한 성능을 보인다.
• 알고리즘적 조명 보정 단계는 신호 강도와 역동 범위를 효과적으로 향상시켜, 후속 딥 러닝 기반 복원 과정이 손실된 정보를 복구할 수 있도록 한다.
• 정량적 및 정성적 평가에서 모두 뛰어난 성능을 기록하며, 물리 모델링과 딥 러닝의 융합이 이미지 복원에 효과적임을 입증한다.