[논문 리뷰] You Only Look Yourself: Unsupervised and Untrained Single Image Dehazing Neural Network

Boyun Li, Yuanbiao Gou외 4명|arXiv (Cornell University)|2020. 06. 30.

Image Enhancement Techniques참고 문헌 29인용 수 14

한 줄 요약

이 논문은 쌍체 훈련 데이터나 외부 이미지 컬렉션에 의존하지 않고 안개가 낀 이미지를 장면 반사율, 투과도 맵, 대기 빛 층으로 분리하는 새로운 비지도 및 미사전학습된 딥 네ural 네트워크인 YOLY를 제안한다. 자기지도 재구성과 변분 추론을 활용하여 지도 학습이 아닌 방법 중 최고의 성능을 달성하며, 실제 및 합성 데이터셋에서 강력한 제거 및 현실적인 안개 전이 능력을 입증한다.

ABSTRACT

In this paper, we study two challenging and less-touched problems in single image dehazing, namely, how to make deep learning achieve image dehazing without training on the ground-truth clean image (unsupervised) and a image collection (untrained). An unsupervised neural network will avoid the intensive labor collection of hazy-clean image pairs, and an untrained model is a ``real'' single image dehazing approach which could remove haze based on only the observed hazy image itself and no extra images is used. Motivated by the layer disentanglement idea, we propose a novel method, called you only look yourself ( extbf{YOLY}) which could be one of the first unsupervised and untrained neural networks for image dehazing. In brief, YOLY employs three jointly subnetworks to separate the observed hazy image into several latent layers, extit{i.e.}, scene radiance layer, transmission map layer, and atmospheric light layer. After that, these three layers are further composed to the hazy image in a self-supervised manner. Thanks to the unsupervised and untrained characteristics of YOLY, our method bypasses the conventional training paradigm of deep models on hazy-clean pairs or a large scale dataset, thus avoids the labor-intensive data collection and the domain shift issue. Besides, our method also provides an effective learning-based haze transfer solution thanks to its layer disentanglement mechanism. Extensive experiments show the promising performance of our method in image dehazing compared with 14 methods on four databases.

연구 동기 및 목표

• 대규모 안개가 낀 이미지와 청소년 이미지 쌍이 필요한 지도 학습 기반의 이미지 안개 제거 방법의 한계를 해결하기 위해.
• 합성 훈련 데이터로 인한 도메인 시프트 문제를 제거하기 위해 진정으로 비지도 및 미사전학습된 접근 방식을 개발하기 위해.
• 사전 학습된 모델이나 외부 이미지 컬렉션 없이도 입력된 안개가 낀 이미지만으로도 엔드 투 엔드 안개 제거를 가능하게 하기 위해.
• 안개 제거 과정의 부산물로 학습된 레이어 분리 잠재 표현의 잠재력을 탐색하기 위해.

제안 방법

• YOLY는 안개가 낀 이미지를 장면 반사율, 투과도 맵, 대기 빛으로 분해하기 위해 세 개의 공동 최적화된 하위 네트워크를 활용한다.
• 재구성된 이미지가 입력된 안개가 낀 이미지와 일치하도록 보장하기 위해 자기지도 기반 재구성 손실을 사용하여 비지도 훈련을 가능하게 한다.
• 잠재 공간의 정규화와 분리 품질 향상을 위해 변분 추론 기반 손실(LH 및 LKL)을 도입한다.
• 세 개의 레이어 간의 특징 표현과 일관성을 향상시키기 위해 공동 최적화 프레임워크(J-Net)를 설계한다.
• 대기 빛 추정의 안정성을 향상시켜 강건성을 개선하기 위해 정규화 손실(LReg)을 적용한다.
• 소스 이미지에서 안개 특징을 추출하고 타겟 이미지에 적용함으로써 엔드 투 엔드 안개 제거 및 안개 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지상 진실 청소년 이미지나 쌍체 데이터에서의 지도 없이도 딥 네트워크가 단일 이미지 안개 제거를 수행할 수 있는가?
• RQ2 대규모 이미지 컬렉션 또는 외부 데이터셋에서의 사전 훈련이 필요 없는 안개 제거 모델을 설계할 수 있는가?
• RQ3 지식 기반 분리 품질이 지도 학습 없이도 안개 제거 및 현실적인 안개 전이 능력을 얼마나 효과적으로 향상시키는가?
• RQ4 비지도, 미사전학습된 안개 제거 방법이 지도 학습 기반 최첨단 방법의 성능에 얼마나 가까이 도달할 수 있는가?
• RQ5 분리된 잠재 표현(반사율, 투과도, 빛)을 활용해 청소년 이미지에서 현실적인 안개가 낀 이미지를 합성할 수 있는가?

주요 결과

• HSTS 데이터셋에서 YOLY는 PSNR 23.82와 SSIM 0.9125를 기록하여 모든 비지도 기반 베이스라인을 능가한다.
• 제거 분석을 통해 LH, LKL, L_J, LReg 모두 성능 향상에 기여하며, 특히 L_J가 가장 큰 기여를 하였다(베이스라인 대비 PSNR +1.29).
• YOLY는 DehazeNet에 비해 세부 정보 유지와 환영 아티팩트 감소 측면에서 열등한 정성적 성능을 보였다.
• 실제 안개가 낀 이미지에서의 안개를 청소년 이미지로 전이하는 데 성공하여 수작업 기반 방법보다 더 현실적인 안개 분포를 생성하였다.
• 안개 전이 실험에서 YOLY가 생성한 안개가 낀 이미지는 카메라 근처에 더 두꺼운 안개와 거리에 따라 점차 사라지는 패턴을 현실적으로 반영하였다.
• 모델는 도메인 간 일반화 능력이 뛰어나 실내 및 실외 환경 모두에서 잘 작동하였으며, 실내에서 실외로, 실외에서 실내로의 도메인 간 전이에서도 우수한 성능을 보였다.