[논문 리뷰] Enhancing Visibility in Nighttime Haze Images Using Guided APSF and Gradient Adaptive Convolution

Yeying Jin, Beibei Lin외 4명|arXiv (Cornell University)|2023. 08. 03.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 단일 이미지 야경 안개 제거를 위한 학습 기반 프레임워크를 제안하며, 동시에 빛 번짐을 억제하고 어두운 영역을 강화한다. 빛원천 인식 네트워크를 활용한 APSF 유도 번짐 렌더링 파이프라인, 경계선 적응형 컨볼루션을 통해 가장자리와 무늬를 유지하고, 주의 기반 모듈을 통한 어두운 영역 강화를 통해 GTA5 데이터셋에서 PSNR 30.38 dB를 달성하여 최신 기법보다 13% 높은 성능을 기록한다.

ABSTRACT

Visibility in hazy nighttime scenes is frequently reduced by multiple factors, including low light, intense glow, light scattering, and the presence of multicolored light sources. Existing nighttime dehazing methods often struggle with handling glow or low-light conditions, resulting in either excessively dark visuals or unsuppressed glow outputs. In this paper, we enhance the visibility from a single nighttime haze image by suppressing glow and enhancing low-light regions. To handle glow effects, our framework learns from the rendered glow pairs. Specifically, a light source aware network is proposed to detect light sources of night images, followed by the APSF (Atmospheric Point Spread Function)-guided glow rendering. Our framework is then trained on the rendered images, resulting in glow suppression. Moreover, we utilize gradient-adaptive convolution, to capture edges and textures in hazy scenes. By leveraging extracted edges and textures, we enhance the contrast of the scene without losing important structural details. To boost low-light intensity, our network learns an attention map, then adjusted by gamma correction. This attention has high values on low-light regions and low values on haze and glow regions. Extensive evaluation on real nighttime haze images, demonstrates the effectiveness of our method. Our experiments demonstrate that our method achieves a PSNR of 30.38dB, outperforming state-of-the-art methods by 13% on GTA5 nighttime haze dataset. Our data and code is available at https://github.com/jinyeying/nighttime_dehaze.

연구 동기 및 목표

• 인공 조명원과 번짐 효과의 복잡성으로 인해 야간 안개 제거를 위한 실제 쌍체 훈련 데이터가 부족한 문제를 해결한다.
• 기존 기법들이 너무 어두운 출력을 생성하거나 안개진영 야경에서 번짐을 효과적으로 억제하지 못하는 한계를 극복한다.
• 하나의 통합 프레임워크에서 동시에 번짐 억제, 어두운 영역 강화, 구조적 세부 정보 유지라는 다중 과제를 처리한다.
• 합성된 APSF 유도 번짐 렌더링 데이터를 활용한 반감독 훈련 전략을 개발하여 실제 세계의 야간 안개 이미지로의 일반화 능력을 향상시킨다.
• 모서리, 무늬, 조명 인식 강화 모듈을 통합하여 시야 향상 성능을 초월한다.

제안 방법

• 야간 이미지에서 빛원천 위치를 탐지하기 위해 빛원천 인식 네트워크를 도입하여 목표 지향적 번짐 렌더링을 가능하게 한다.
• 검출된 빛원천에 대해 APSF 유도 번짐 렌더링을 적용하여 현실적인 번짐 효과를 생성하고, 번짐 억제를 위한 합성 훈련 데이터를 생성한다.
• 렌더링된 번짐 쌍으로 주 네트워크를 훈련시켜 번짐을 억제하면서도 장면의 구조를 유지하도록 학습한다.
• 경계선 적응형 컨볼루션(GAC)을 구현하여 기울기 맵과 양방향 커널을 조합해 안개진영 이미지에서 가장자리와 무늬를 추출한다.
• 추출된 가장자리와 무늬를 가이드로 삼아 안개 제거 과정에서 이미지 대비와 구조적 세부 정보를 강화한다.
• 어두운 영역에 높은 가중치, 안개 및 번짐 영역에 낮은 가중치를 할당하는 주의 기반 강화 모듈을 도입하고, 감마 보정을 통해 어두운 영역을 강화한다.

실험 결과

연구 질문

• RQ1 실제 쌍체 훈련 데이터에 의존하지 않고도 학습 기반 프레임워크가 야간 안개 이미지의 번짐을 효과적으로 억제할 수 있는가?
• RQ2 경계선 적응형 컨볼루션은 저대비, 안개진영 야경에서 가장자리와 무늬 유지에 어떻게 기여하는가?
• RQ3 주의 기반 강화가 안개나 노이즈를 증폭시키지 않고 어두운 영역의 시야를 효과적으로 복원할 수 있는가?
• RQ4 APSF 유도 번짐 렌더링은 실제 세계의 야간 안개 제거에서 일반화 능력과 번짐 억제에 얼마나 기여하는가?
• RQ5 각 개별 구성요소(번짐 렌더링, GAC, 주의 강화)가 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 GTA5 야간 안개 데이터셋에서 PSNR 30.38 dB를 달성하여 최신 기법보다 13% 높은 성능을 기록했다.
• 정성적 결과는 안개와 번짐을 효과적으로 제거하고 어두운 영역을 강화하면서도 나무, 건물, 도로 구조물 등의 미세한 세부 정보를 유지함을 보여준다.
• 절단 실험 결과, APSF 유도 번짐 렌더링, 경계선 적응형 컨볼루션, 주의 기반 강화 모듈 각각이 성능 향상에 기여하고 있음을 확인했다.
• 실제 세계의 야간 안개 이미지에 대한 사용자 연구 결과, 제안된 방법이 모든 평가 지표에서 가장 높은 점수를 기록하여 그 주관적 우수성을 확인했다.
• 도메인 갭에도 불구하고 실제 장면으로의 일반화가 성공적으로 이루어졌으며, 실제 데이터셋에서의 뛰어난 성능과 다양한 조명 조건에 대한 강건성을 통해 이를 입증했다.
• 합성된 APSF 유도 번짐 데이터의 사용은 효과적인 반감독 훈련을 가능하게 하여, 실제 지도 데이터가 없는 상태에서도 번짐 억제를 학습할 수 있도록 했다.