[논문 리뷰] Structure Representation Network and Uncertainty Feedback Learning for Dense Non-Uniform Fog Removal

Yeying Jin, Wending Yan외 2명|arXiv (Cornell University)|2022. 10. 06.

Image Enhancement Techniques인용 수 7

한 줄 요약

이 논문은 구조 표현 네트워크와 불확실성 피드백 학습을 활용한 단일 이미지 안개 제거 방법을 제안한다. 장면 구조 복구에 DINO-ViT 특징을 활용하고, 대기 밝기 효과를 완화하기 위해 회색조 특징 배율기를 도입함으로써, 밀도 높고 비균일한 안개 영역을 강조하는 불확실성 맵을 이용해 반복적으로 출력을 개선함으로써 실제 밀도 높고 비균일한 안개 이미지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few existing image defogging or dehazing methods consider dense and non-uniform particle distributions, which usually happen in smoke, dust and fog. Dealing with these dense and/or non-uniform distributions can be intractable, since fog's attenuation and airlight (or veiling effect) significantly weaken the background scene information in the input image. To address this problem, we introduce a structure-representation network with uncertainty feedback learning. Specifically, we extract the feature representations from a pre-trained Vision Transformer (DINO-ViT) module to recover the background information. To guide our network to focus on non-uniform fog areas, and then remove the fog accordingly, we introduce the uncertainty feedback learning, which produces the uncertainty maps, that have higher uncertainty in denser fog regions, and can be regarded as an attention map that represents fog's density and uneven distribution. Based on the uncertainty map, our feedback network refines our defogged output iteratively. Moreover, to handle the intractability of estimating the atmospheric light colors, we exploit the grayscale version of our input image, since it is less affected by varying light colors that are possibly present in the input image. The experimental results demonstrate the effectiveness of our method both quantitatively and qualitatively compared to the state-of-the-art methods in handling dense and non-uniform fog or smoke.

연구 동기 및 목표

• 밀도 높고 비균일한 안개로 인한 배경 장면 정보의 심각한 열화 문제를 해결하고, 기존 방법으로는 잘 다루지 못하는 문제를 해결하기 위해.
• 복잡한 다색 안개 조건에서 대기 밝기 추정이 비현실적으로 어려운 문제를 해결하기 위해.
• 불확실성 기반 피드백을 도입하여 반복적 개선을 유도함으로써 저시야성 영역에서의 안개 제거 성능을 향상시키기 위해.
• 다중 모odal 특징 정규화를 통해 환상 현상 감소 및 농도 높은 안개 영역에서의 구조적 세부 정보 유지 향상을 위해.

제안 방법

• 밀도 높은 안개 조건에서도 장면 기하학적 구조와 배경 구조를 유지하는 자기지도 학습 기반의 구조 인식 특징을 추출하기 위해 DINO-ViT를 사용한다.
• 안개 퇴색과 색상 변화를 분리함으로써 다양한 조명 조건과 산산이 흩어진 빛에 대한 강건성을 향상시키기 위해 회색조 특징 배율기를 도입한다.
• 고밀도 안개 영역을 강조하는 불확실성 맵을 생성하는 불확실성 피드백 메커니즘을 활용하여 동적 주의 힌트 역할을 한다.
• 불확실성 예측에 기반하여 반복적으로 정제하는 피드백 네트워크를 적용함으로써 지속적인 안개 영역에 집중한다.
• 두 가지 핵심 손실을 구현한다: DINO-ViT 특징을 사용한 구조 일致성 손실과 회색조 및 RGB 특징 표현을 정렬하기 위한 배율기 일치 손실.
• 정확한 정답이 없는 실세계 안개 이미지와 합성 데이터를 사용하여 준지도 학습 방식으로 모델을 훈련함으로써 정확한 정답에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반 비전 트랜스포머가 밀도 높고 비균일한 안개 조건에서 배경 구조 복구에 기여할 수 있는가?
• RQ2 불확실성 맵은 지속적인 안개 영역에서 반복적 안개 제거를 어떻게 안내할 수 있는가?
• RQ3 회색조 특징 표현은 복잡한 안개 조건에서 대기 밝기 변화에 대한 민감도를 감소시킬 수 있는가?
• RQ4 표준 CNN에 비해 다중 모달 특징 정규화(ViT + CNN)가 안개 제거 성능 향상에 얼마나 기여하는가?
• RQ5 불확실성 피드백 학습은 높은 열화 수준의 안개 영역에서 환상 현상을 감소시키고 세부 정보 유지에 기여하는가?

주요 결과

• 제안된 방법은 O-HAZE, NH-Haze, Dense-Haze 벤치마크에서 최고의 PSNR 및 SSIM 점수를 기록하여 트랜스포머 기반 및 CNN 기반 모델을 포함한 최신 기술 수준의 방법들을 능가한다.
• 제거 실험 결과, 회색조 배율기 손실을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이 손실이 색상 아티팩트 억제에 핵심적인 역할을 한다는 것을 입증한다.
• DINO-ViT 구조 일치 손실을 제거할 경우 구조 복원 성능이 악화됨을 확인하여, 이 손실이 장면 기하학적 구조 복원에 가치가 있음을 입증한다.
• 불확실성 피드백 네트워크가 지속적인 안개 영역에서 안개 제거 성능을 크게 향상시킴을 실험 결과로 입증하였으며, 이 네트워크를 제거할 경우 잔류 안개 및 선명도 저하가 발생한다.
• MSE 손실만을 사용할 경우 어두운, 과도하게 처리된 출력 결과와 잔류 안개, 세부 정보 손실이 발생함을 확인하여, 제안된 손실 설계의 필수성을 입증한다.