[논문 리뷰] Joint Transmission Map Estimation and Dehazing using Deep Networks

He Zhang, Vishwanath A. Sindagi외 1명|arXiv (Cornell University)|2017. 08. 02.

Image Enhancement Techniques참고 문헌 66인용 수 39

한 줄 요약

이 논문은 일관된 대기 빛 강도 가정을 완화하면서 종단 간 방식으로 투과도 지도와 단일 이미지 화해거를 동시에 추정하는 통합된 딥 CNN 프레임워크를 제안한다. 기울기 및 적대적 손실을 활용한 다중 작업 학습을 통해 실시간 추론(18 FPS)과 합성 및 실제 세계의 안개 낀 이미지에서 뛰어난 시각적 품질을 달성한 상태의 기술 성능을 달성한다.

ABSTRACT

Single image haze removal is an extremely challenging problem due to its inherent ill-posed nature. Several prior-based and learning-based methods have been proposed in the literature to solve this problem and they have achieved superior results. However, most of the existing methods assume constant atmospheric light model and tend to follow a two-step procedure involving prior-based methods for estimating transmission map followed by calculation of dehazed image using the closed form solution. In this paper, we relax the constant atmospheric light assumption and propose a novel unified single image dehazing network that jointly estimates the transmission map and performs dehazing. In other words, our new approach provides an end-to-end learning framework, where the inherent transmission map and dehazed result are learned directly from the loss function. Extensive experiments on synthetic and real datasets with challenging hazy images demonstrate that the proposed method achieves significant improvements over the state-of-the-art methods.

연구 동기 및 목표

• 단일 이미지 화해거의 본질적인 부정확성 문제를 해결하기 위해 투과도 지도와 화해거된 이미지를 동시에 학습한다.
• 투과도 지도를 별도로 추정한 후에 화해거된 이미지를 계산하는 기존의 두 단계 방법의 한계를 극복한다.
• 일관된 대기 빛 강도 가정을 완화하여 네트워크 내에서 공간적으로 변화하는 대기 빛 강도 추정을 가능하게 한다.
• 예리한 에지와 뿌연 현상을 방지하기 위해 기울기 손실과 적대적 손실을 조합하여 화해거 품질을 향상시킨다.
• 다양한 안개 낀 이미지에서 높은 성능을 유지하면서도 실시간 추론(18 FPS)을 가능하게 한다.

제안 방법

• 단일 안개 낀 입력에서 투과도 지도와 화해거된 이미지를 모두 예측하는 다중 작업 딥 CNN 아키텍처를 제안한다.
• 종단 간 학습을 통해 암묵적으로 공간적으로 변화하는 대기 빛 강도를 학습할 수 있도록 일관된 대기 빛 강도 가정을 완화한다.
• 투과도 지도에 대한 L1 손실, 화해거된 이미지에 대한 L1 손실, 기울기 손실, 적대적 손실을 포함하는 병합된 손실 함수를 사용하여 에지의 선명함과 현실감을 향상시킨다.
• 합성 데이터셋을 사용하여 종단 간 학습을 수행함으로써 투과도 지도 및 화해거된 이미지 예측의 공동 최적화를 가능하게 한다.
• 화해거 출력의 지각적 품질을 향상시키기 위해 판별자와 함께 적대적 학습을 통합한다.
• 표준 이미지 열화 모델(I(x) = J(x)t(x) + A(x)(1-t(x)))을 네트워크 학습에서 미분 가능한 제약 조건으로 적용한다.

실험 결과

연구 질문

• RQ1 투과도 지도 추정과 화해거를 동시에 학습하는 것이 두 단계 접근법에 비해 시각적 품질을 향상시키는가?
• RQ2 일관된 대기 빛 강도 가정을 완화하면 실제 세계의 안개 낀 이미지에서 더 나은 일반화와 성능을 달성하는가?
• RQ3 기울기 손실과 적대적 손실이 화해거 출력에서 뿌연 현상을 줄이고 에지 세부 정보를 향상시키는 데 효과적인가?
• RQ4 기존의 최첨단 방법들과 비교했을 때 제안된 종단 간 프레임워크의 속도와 정확도는 어떠한가?
• RQ5 정제되지 않은 상태에서 합성 데이터로 훈련된 모델이 실제 세계의 안개 낀 이미지로 일반화되는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 최첨단 방법들에 비해 뚜렷한 시각적 향상을 이룩하였으며, 특히 잔여 안개, 색상 과포화, 잡음 등의 아티팩트를 줄이는 데 뛰어나다.
• 실제 세계의 안개 낀 이미지에서 다른 방법들이 실패하는 경우에도, 밀도 높은 안개로 가려진 만다린 문자와 같은 숨겨진 세부 정보를 성공적으로 복원한다.
• 512×512 이미지를 18 프레임/초 속도로 처리하여 기존의 가장 빠른 방법들과 유사한 실시간 성능을 보여준다.
• 정량적 평가 결과, 벤치마크 데이터셋에서 기존의 학습 기반 접근법들보다 PSNR와 SSIM 측정치에서 뛰어난 성능을 보였다.
• 절단 실험 결과, 기울기 손실과 적대적 손실의 조합이 에지 선명함과 지각적 품질을 크게 향상시킨다는 것이 확인되었다.
• 강력한 일반화 능력에도 불구하고, 훈련 샘플이 유사하지 않은 드문 하늘 영역에서는 실패 사례가 발생하여 합성 데이터의 일반화 한계를 보여준다.