[논문 리뷰] Densely Connected Pyramid Dehazing Network

He Zhang, Vishal M. Patel|arXiv (Cornell University)|2018. 03. 22.

Image Enhancement Techniques참고 문헌 48인용 수 78

한 줄 요약

DCPDN은 전송 맵, 대기광, 및 디하이즈 이미지를 엔드투엔드 프레임워크에서 공동으로 추정하며, 대기 산란 모델을 내장하고 전송은 Dense 연결 인코더-디코더, 대기광은 U-네트, 전송 맵과 디하이즈 이미지에 대한 공동 GAN 판별기를 활용합니다.

ABSTRACT

We propose a new end-to-end single image dehazing method, called Densely Connected Pyramid Dehazing Network (DCPDN), which can jointly learn the transmission map, atmospheric light and dehazing all together. The end-to-end learning is achieved by directly embedding the atmospheric scattering model into the network, thereby ensuring that the proposed method strictly follows the physics-driven scattering model for dehazing. Inspired by the dense network that can maximize the information flow along features from different levels, we propose a new edge-preserving densely connected encoder-decoder structure with multi-level pyramid pooling module for estimating the transmission map. This network is optimized using a newly introduced edge-preserving loss function. To further incorporate the mutual structural information between the estimated transmission map and the dehazed result, we propose a joint-discriminator based on generative adversarial network framework to decide whether the corresponding dehazed image and the estimated transmission map are real or fake. An ablation study is conducted to demonstrate the effectiveness of each module evaluated at both estimated transmission map and dehazed result. Extensive experiments demonstrate that the proposed method achieves significant improvements over the state-of-the-art methods. Code will be made available at: https://github.com/hezhangsprinter

연구 동기 및 목표

• 복잡한 대기 산란하에서 전송, 대기광, 및 디하이즈 이미지를 공동으로 추정하여 단일 이미지 디헤이징의 강건성을 촉진할 것을 동기화한다.
• 물리적 흐림 모델을 학습에 내장하여 물리적으로 일관된 결과를 제공하는 엔드-투-엔드 아키텍처를 도입한다.
• 다단 피라미드 풀링을 갖춘 조밀하게 연결된 인코더-디코더 전송 맵 추정기를 개발한다.
• 샤프한 경계를 유지하고 헤일로 아티팩트를 줄이기 위해 엣지 보존 손실을 도입한다.
• 전송 맵과 디하이즈 이미지 간의 상호 구조 정보를 활용하기 위해 공동 GAN 판별기를 활용한다.

제안 방법

• 전송 추정용 다중 스케일 특징 추출을 위한 피라미드 조밀 연결 전송 맵 추정 네트워크를 제안한다.
• 8-블록 U-네트 구조로 대기광을 추정한다.
• 물리 모델 J = (I - Â(1 - t))/t를 이용해 디하이즈 이미지를 복구한다.
• 현실감을 강제로 보장하기 위해 (전송 맵, 디하이즈 이미지) 쌍을 평가하는 공동 판별기를 도입한다.
• 조기에 학습된 CNN/VGG 특징에 기반한 L2, 양방향 그래디언트 손실, 특징-엣지 손실로 구성된 엣지 보존 손실을 사용한다.
• 공동 엔드-투-엔드 학습 전에 최적화를 안정화하기 위해 단계별 학습 전략으로 학습한다.

실험 결과

연구 질문

• RQ1 단일 아키텍처가 흐림 이미징 모델을 엄격하게 준수하면서 전송, 대기광, 및 디헤이징을 공동으로 학습할 수 있는가?
• RQ2 조밀하게 연결된 피라미드 인코더-디코더가 전송 맵 정확도와 경계 보존을 향상시키는가?
• RQ3 전송 맵과 디하이즈 이미지 사이의 상관관계를 활용하는 공동 판별기가 결과를 개선하는가?
• RQ4 엣지 보존 손실이 전송 맵의 뚜렷한 경계 유지 및 헤일로 아티팩트를 감소시키는가?

주요 결과

• 제안된 DCPDN은 합성 데이터셋 TestA 및 TestB와 실제 이미지에서 최첨단 방법 대비 상당한 향상을 달성한다.
• 다단 피라미드 풀링을 갖춘 조밀하게 연결된 인코더-디코더가 우수한 전송 맵 추정을 제공한다.
• 엣지 보존 손실이 추정된 전송 맵에서 선명한 경계를 보존하고 헤일로 아티팩트를 감소시킨다.
• 공동 판별기가 구조적 상관관계를 활용하여 전송 맵과 디하이즈 이미지를 추가로 정제한다.
• 단계적 학습은 전체 엔드-투-엔드 학습 전에 최적화를 안정화한다.
• 정량적 결과는 합성 데이터셋에서 전송 및 디하이즈 이미지의 SSIM 향상이 크며(예: TestA에서 전송 0.9776, 이미지 0.9560까지).