[논문 리뷰] Progressive Feature Fusion Network for Realistic Image Dehazing

Kangfu Mei, Aiwen Jiang외 2명|arXiv (Cornell University)|2018. 10. 04.

Image Enhancement Techniques참고 문헌 26인용 수 14

한 줄 요약

이 논문은 기존의 대기 확산 모델에 의존하지 않고 안개가 낀 이미지에서 청명한 이미지로의 고도로 비선형적인 변환을 직접 학습하는 엔드 투 엔드 U-Net 유사 딥러닝 모델인 프로그레시브 페처 퓌전 네트워크(PFF-Net)를 제안한다. 인코더-디코더 아키텍처에서 점진적인 페처 퓌전을 적용함으로써 PFF-Net은 SOTS 및 NTIRE2018 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 효율적인 GPU 메모리 사용과 뛰어난 인지적 품질을 바탕으로 4K 해상도 이미지의 탈안개 처리를 성공적으로 수행하였다.

ABSTRACT

Single image dehazing is a challenging ill-posed restoration problem. Various prior-based and learning-based methods have been proposed. Most of them follow a classic atmospheric scattering model which is an elegant simplified physical model based on the assumption of single-scattering and homogeneous atmospheric medium. The formulation of haze in realistic environment is more complicated. In this paper, we propose to take its essential mechanism as "black box", and focus on learning an input-adaptive trainable end-to-end dehazing model. An U-Net like encoder-decoder deep network via progressive feature fusions has been proposed to directly learn highly nonlinear transformation function from observed hazy image to haze-free ground-truth. The proposed network is evaluated on two public image dehazing benchmarks. The experiments demonstrate that it can achieve superior performance when compared with popular state-of-the-art methods. With efficient GPU memory usage, it can satisfactorily recover ultra high definition hazed image up to 4K resolution, which is unaffordable by many deep learning based dehazing algorithms.

연구 동기 및 목표

• 단일 산란 및 균질한 매질이라는 가정을 내포한 단순화된 대기 확산 모델에 의존하는 전통적인 단일 이미지 탈안개 처리 방법의 한계를 해결하기 위해.
• 전달도와 대기 빛을 별도로 추정하는 파ipeline 기반 방법에서 발생하는 오차 증폭 문제를 극복하기 위해.
• 중간 물리적 변수가 아닌 출력 품질에 초점을 맞춘, 안개가 낀 이미지에서 청명한 이미지로의 비선형 맵핑을 직접 학습하는 엔드 투 엔드 트레이너블 모델을 개발하기 위해.
• 기존의 딥러닝 기반 탈안개 모델들이 메모리 제약으로 인해 처리가 불가능한 초고해상도(4K) 안개가 낀 이미지의 효율적 처리를 가능하게 하기 위해.

제안 방법

• 공간적 세부 정보를 유지하고 효과적인 특징 재사용을 가능하게 하기 위해 스킵 연결을 갖춘 U-Net 유사 인코더-디코더 아키텍처를 제안한다.
• 다양한 인코더 단계의 특징을 해당되는 디코더 특징과 연결함으로써 표현 학습을 향상시키는 점진적 특징 퓌전을 도입한다.
• 안정적인 학습과 향상된 기울기 흐름을 위해 인코더 및 디코더 양쪽에 잔차 블록을 활용한다.
• 예측된 청명한 이미지와 진짜 청명한 이미지 간의 표준 L1 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 학습시키며, 직접 재구성 오차를 최소화한다.
• 점진적 학습 전략을 적용: 먼저 DIV2K에서 사전 학습한 후, 데이터 증강 없이 RESIDE에서 미세 조정한다.
• 대부분의 이전 방법들이 사용하는 패치 기반 학습 전략을 피하고, 전체 4K 이미지를 직접 처리함으로써 고해상도 추론을 구현한다.

실험 결과

연구 질문

• RQ1 대기 확산 모델의 중간 변수에 의존하지 않고도 엔드 투 엔드 딥러닝 모델이 기존의 파이프라인 기반 방법보다 단일 이미지 탈안개 처리에서 뛰어난 성능을 낼 수 있는가?
• RQ2 초고해상도에서 탈안개 처리를 위한 특징 표현 향상에 있어 점진적 특징 퓌전의 효과는 어떠한가?
• RQ3 복잡한 모듈(예: 밀도 블록 또는 앙상블 추론) 없이 단순한 잔차 블록만을 사용하는 경량 U-Net 유사 아키텍처가 SOTA 성능을 달성할 수 있는가?
• RQ4 최소한의 아키텍처 및 학습 복잡성으로도 실제 4K 해상도의 안개가 낀 이미지에 대해 얼마나 잘 일반화되는가?
• RQ5 중간 변수 추정이 아닌 입력에서 출력으로의 변환을 직접 엔드 투 엔드로 학습함으로써 더 나은 인지적 품질과 정량적 지표를 달성할 수 있는가?

주요 결과

• SOTS 벤치마크에서 PFF-Net은 PSNR 24.78과 SSIM 0.8923을 기록하여 기존 SOTA 방법인 GFN(PSNR: 22.30, SSIM: 0.88)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 데이터 증강 없이도 I-HAZE 트랙에서 NTIRE2018 탈안개 챌린지에서 상위 6위를 기록하였으며, 영예의 언급을 수상하였다.
• PFF-Net은 대부분의 기존 딥러닝 기반 탈안개 모델들이 메모리 제약으로 인해 처리가 불가능한 4K 해상도의 안개가 낀 이미지를 직접 추론 과정에서 처리하는 데 성공하였다.
• 정성적 결과 분석에서 PFF-Net은 실제 안개가 낀 이미지에서 더 뚜렷한 시점 세부 정보, 자연스러운 색조 채도 및 높은 인지적 품질을 갖춘 탈안개 이미지를 생성하는 것으로 나타났다.
• RESIDE에서의 미세 조정 과정에서 8 에포크 내에 수렴함으로써 안정적이고 효율적인 학습 동역학을 보였다.
• 밀도 블록이나 다중 해상도 테스트 전략을 사용하지 않은 채 단순한 잔차 블록만을 활용했음에도 불구하고, 이러한 복잡한 기법을 사용하는 방법들을 초월하는 성능을 달성하였다.