[논문 리뷰] The Effectiveness of Instance Normalization: a Strong Baseline for Single Image Dehazing

Zheng Xu, Xitong Yang외 2명|arXiv (Cornell University)|2018. 05. 08.

Image Enhancement Techniques참고 문헌 35인용 수 17

한 줄 요약

이 논문은 인스턴스 정규화와 사전 훈련된 VGG 특징을 활용한 인코더-디코더 아키텍처와 스킵 연결을 사용하는 단순하면서도 효과적인 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 사전 훈련된 VGG 특징을 활용하고 L2 손실 및 인지적 손실을 함께 훈련시킴으로써, 대기 scattering 모델이나 수작업으로 구성한 사전 지식에 의존하지 않고도 최신 기술 수준의 성능을 달성한다. 이는 벤치마크 데이터셋에서 이전의 방법들을 크게 능가한다.

ABSTRACT

We propose a novel deep neural network architecture for the challenging problem of single image dehazing, which aims to recover the clear image from a degraded hazy image. Instead of relying on hand-crafted image priors or explicitly estimating the components of the widely used atmospheric scattering model, our end-to-end system directly generates the clear image from an input hazy image. The proposed network has an encoder-decoder architecture with skip connections and instance normalization. We adopt the convolutional layers of the pre-trained VGG network as encoder to exploit the representation power of deep features, and demonstrate the effectiveness of instance normalization for image dehazing. Our simple yet effective network outperforms the state-of-the-art methods by a large margin on the benchmark datasets.

연구 동기 및 목표

• 안개로 인해 이미지 품질과 가시성이 떨어지는 문제를 해결하기 위해.
• 수작업으로 구성한 사전 지식이나 명시적인 대기 scattering 모델에 의존하는 이전 방법들의 한계를 극복하기 위해.
• 딥 러닝 특징과 정규화 기법이 탈안개 처리에 효과적인 인덕티브 바이어스가 될 수 있는지 탐색하기 위해.
• 미래의 단일 이미지 탈안개 연구를 위한 단순하고 강력한 기초 모델을 구축하기 위해.

제안 방법

• 공간적 세부 정보를 유지하기 위해 스킵 연결이 있는 인코더-디코더 아키텍처를 사용한다.
• 딥 페처를 추출하기 위해 VGG 네트워크의 사전 훈련된 합성곱 레이어를 인코더에 활용한다.
• 딥 페처의 통계를 적응시키기 위해 인스턴스 정규화를 적용하여 탈안개를 위한 특징 표현을 향상시킨다.
• 시각적 품질을 향상시키기 위해 L2 재구성 손실과 VGG 기반의 인지적 손실을 조합하여 네트워크를 훈련시킨다.
• 명시적인 대기 scattering 방정식을 모델링하지 않고, 대신 엔드 투 엔드 학습에 의존한다.
• 모델은 RESIDE-표준 데이터셋에서 생성된 합성 안개 이미지로만 훈련된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 네트워크의 딥 페처에 인스턴스 정규화를 적용했을 때, 이미지 탈안개 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 명시적인 대기 모델링이나 수작업으로 구성한 사전 지식 없이 엔드 투 엔드 딥 러닝 접근 방식이 기존 최신 기술 수준의 방법들을 능가할 수 있는가?
• RQ3 ImageNet에서 사전 훈련된 모델이 합성 안개 데이터로 미세조정되었을 때, 단일 이미지 탈안개에 얼마나 잘 일반화되는가?
• RQ4 물리적 산산이 흩어지는 과정을 명시적으로 모델링하지 않더라도, 사전 훈련된 VGG 네트워크의 딥 페처가 탈안개에 강력한 인덕티브 바이어스가 될 수 있는가?

주요 결과

• 제안된 방법은 RESIDE-표준 벤치마크 데이터셋에서 모든 최신 기술 수준의 방법들을 크게 능가한다.
• D-Hazy-NYU 및 D-Hazy-MB 데이터셋에서 우수한 정량적 성능을 달성하였으며, 이는 뉴욕 대학의 깊이 데이터에서 합성된 것이다.
• I-Haze 및 O-Haze의 교차 도메인 데이터셋에서도 도메인 분포의 변화가 있음에도 불구하고 경쟁력 있는 결과를 도출하였으며, 강력한 일반화 능력을 보였다.
• 정성적 결과 분석에서 모델은 안개를 효과적으로 제거하고 현실적인 색상 복원을 수행하는 것으로 나타났으며, 특히 기존 기준 모델이 실패하는 어두운 복잡한 영역에서 뛰어난 성능을 보였다.
• 제거 실험을 통해 인스턴스 정규화가 배치 정규화 및 기타 정규화 기법보다 성능 향상에 뚜렷한 기여를 한다는 것이 확인되었다.
• 다양한 안개 이미지 분포에 대해 잘 일반화되며, 학습된 딥 페처 통계가 도메인 변동에 대해 강건함을 시사한다.