[논문 리뷰] Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression

Yeying Jin, Wenhan Yang외 1명|arXiv (Cornell University)|2022. 07. 21.

Image Enhancement Techniques인용 수 14

한 줄 요약

이 논문은 층 분해와 조명 효과 억제 네트워크를 통합하여 야경 이미지의 어두운 영역을 향상시키고 밝은 영역의 영향을 억제하는 비지도 학습 기반 딥러닝 프레임워크를 제안한다. 비지도 사전 지식과 구조/고주파(HF) 일致성 손실에 의해 유도되어, 이미지는 조명, 반사율, 조명 효과 층으로 분해되며, 밝기 오버행영역을 방지하고 어두운 영역을 강화하면서 반사광과 화이트 라이트를 억제한다. 정량적·정성적 평가에서 기존 최고 성능(SOTA) 방법을 능가한다.

ABSTRACT

Night images suffer not only from low light, but also from uneven distributions of light. Most existing night visibility enhancement methods focus mainly on enhancing low-light regions. This inevitably leads to over enhancement and saturation in bright regions, such as those regions affected by light effects (glare, floodlight, etc). To address this problem, we need to suppress the light effects in bright regions while, at the same time, boosting the intensity of dark regions. With this idea in mind, we introduce an unsupervised method that integrates a layer decomposition network and a light-effects suppression network. Given a single night image as input, our decomposition network learns to decompose shading, reflectance and light-effects layers, guided by unsupervised layer-specific prior losses. Our light-effects suppression network further suppresses the light effects and, at the same time, enhances the illumination in dark regions. This light-effects suppression network exploits the estimated light-effects layer as the guidance to focus on the light-effects regions. To recover the background details and reduce hallucination/artefacts, we propose structure and high-frequency consistency losses. Our quantitative and qualitative evaluations on real images show that our method outperforms state-of-the-art methods in suppressing night light effects and boosting the intensity of dark regions.

연구 동기 및 목표

• 야경 이미지에서 낮은 조명과 불균형한 조명 효과(예: 반사광, 화이트 라이트)의 이중 과제를 해결하기 위해.
• 과도하게 밝은 영역을 강화하지 않고 조명 효과를 억제하여 포화 및 아티팩트를 방지하기 위해.
• 배경 세부 정보를 유지하면서 어두운 영역을 강화하고 환각 현상을 줄이기 위해.
• 비용이 많이 드는 쌍체 실세계 데이터나 합성된 조명 효과 렌더링을 피하기 위해 비지도 방법을 개발하기 위해.
• 백색(화이트) 조명 효과를 배경 영역에서 구분하는 데 있어 강건성을 향상시키기 위해.

제안 방법

• 이 방법은 비지도 층별 사전 지식 손실에 의해 유도되어 입력 야경 이미지를 조명, 반사율(배경), 조명 효과 층으로 분리하는 층 분해 네트워크를 사용한다.
• 비지도 방식으로 쌍체가 아닌 이미지(조명 효과 유무)에서 훈련된 조명 효과 억제 네트워크는 추정된 조명 효과 층을 가이드로 사용하여 조명 효과 영역에 집중하고 억제한다.
• VGG 기반의 인지적 특징과 가이드 필터링을 사용하여 구조 및 고주파(HF) 특징 일치 손실을 도입하여 배경 세부 정보를 유지하고 아티팩트를 억제한다.
• 종단 간 훈련을 통해 분해와 억제를 공동 최적화하여 조명 효과 억제와 어두운 영역 강화 간의 일치를 보장한다.
• 조명 효과 층은 억제 네트워크를 가이드하기 위한 마스크로 사용되어, 백색 또는 무채색 조명 효과일지라도 정밀한 국소화 및 억제를 가능하게 한다.
• 쌍체 실세계 데이터나 합성된 조명 효과 렌더링에 의존하지 않도록, 비지도 일치 손실과 분해 사전 지식을 활용한다.

실험 결과

연구 질문

• RQ1 비지도 층 분해가 야경 이미지에서 조명, 반사율, 조명 효과 성분을 효과적으로 분리할 수 있는가?
• RQ2 쌍체 실세계 데이터나 합성된 조명 효과 렌더링 없이도 조명 효과 억제를 효과적으로 달성할 수 있는가?
• RQ3 구조 및 고주파 특징 일치 손실이 향상 과정에서 환각을 줄이고 배경 세부 정보를 유지하는 데 효과적인가?
• RQ4 추정된 조명 효과 층을 억제 네트워크에 가이드로 사용하면, 특히 백색 또는 무채색 조명 효과의 경우 억제 정확도가 향상되는가?
• RQ5 야경 이미지 향상에서 분해와 억제의 공동 훈련이 순차적 처리보다 더 효과적인가?

주요 결과

• 제안된 방법은 실세계 야경 이미지에서 정량적·정성적 평가 모두에서 기존 SOTA 방법을 능가하여 조명 효과 억제와 어두운 영역 강화를 수행한다.
• 제거 분석 결과, 분해와 억제의 공동 훈련이 필수적임을 확인하였으며, 순차적 처리에서는 아티팩트 증폭 또는 효과적인 억제가 이루어지지 않는다는 점을 입증한다.
• 조명 효과 층 가이드를 사용함으로써 억제 정확도가 크게 향상되었으며, 특히 백색 및 다색 조명 효과의 경우 배경 영역와의 분리가 향상되었다.
• 구조 및 고주파 특징 일치 손실은 아티팩트 억제와 누락된 배경 세부 정보 복원에 효과적이며, 환각 현상을 감소시킨다.
• 쌍체 훈련 데이터나 합성된 조명 효과 렌더링이 필요 없이도 뛰어난 성능을 달성하여 실세계 야경 이미지에 대해 뛰어난 일반화 능력을 보였다.
• 정성적 결과에서 제안된 방법은 기존 방법과 달리 밝은 영역을 과도하게 강화하지 않고 자연스러운 외관을 유지함을 보였다.