[논문 리뷰] Classification-driven Single Image Dehazing

Yanting Pei, Yaping Huang외 1명|arXiv (Cornell University)|2019. 11. 21.

Image Enhancement Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 이미지 탈안개화와 이미지 분류를 동시에 최적화하기 위해 탈안개화 하위 네트워크(DNet), 분류 기반 조건부 GAN(ССGAN), 분류 하위 네트워크(CNet)를 통합한 통합형 엔드 투 엔드 CNN 아키텍처를 제안한다. 이 방법은 고수준 의미 피드백을 활용하여 시각적 품질과 후행 작업 성능을 향상시킴으로써 CUB-200-2011 및 Caltech-256 데이터셋에서 탈안개화 지표(PSNR, SSIM)와 분류 정확도를 모두 크게 향상시키며, 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Most existing dehazing algorithms often use hand-crafted features or Convolutional Neural Networks (CNN)-based methods to generate clear images using pixel-level Mean Square Error (MSE) loss. The generated images generally have better visual appeal, but not always have better performance for high-level vision tasks, e.g. image classification. In this paper, we investigate a new point of view in addressing this problem. Instead of focusing only on achieving good quantitative performance on pixel-based metrics such as Peak Signal to Noise Ratio (PSNR), we also ensure that the dehazed image itself does not degrade the performance of the high-level vision tasks such as image classification. To this end, we present an unified CNN architecture that includes three parts: a dehazing sub-network (DNet), a classification-driven Conditional Generative Adversarial Networks sub-network (CCGAN) and a classification sub-network (CNet) related to image classification, which has better performance both on visual appeal and image classification. We conduct comprehensive experiments on two challenging benchmark datasets for fine-grained and object classification: CUB-200-2011 and Caltech-256. Experimental results demonstrate that the proposed method outperforms many recent state-of-the-art single image dehazing methods in terms of image dehazing metrics and classification accuracy.

연구 동기 및 목표

• 기존 탈안개화 방법들이 픽셀 수준 지표(예: PSNR, SSIM)에만 최적화되어 고수준 비전 작업 성능을 고려하지 않는 한계를 해결하기 위해.
• 분류 피드백을 통합함으로써 탈안개화된 이미지의 시각적 품질과 의미적 정확도를 향상시킬 수 있는지 조사하기 위해.
• 이미지 탈안개화와 이미지 분류를 동시에 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 탈안개화 지도를 통해 생성된 탈안개화 이미지가 이미지 분류와 같은 후행 작업에서 더 나은 성능을 유지하는지 입증하기 위해.

제안 방법

• 프레임워크는 세 가지 구성 요소로 이루어져 있다: 이미지 복원을 위한 탈안개화 하위 네트워크(DNet), 현실감과 세부 사항을 향상시키기 위한 분류 기반 조건부 GAN(ССGAN), 고수준 감독을 제공하기 위한 분류 하위 네트워크(CNet).
• ССGAN 하위 네트워크는 시각적으로 현실적이며 고수준 분류 성능을 최적화한 탈안개화 이미지를 생성하도록 훈련된다.
• 전체 네트워크는 탈안개화를 위한 픽셀 수준 복원 손실(MSE)과 CNet을 위한 분류 손실을 조합한 손실을 사용해 엔드 투 엔드로 훈련된다.
• 분류 하위 네트워크(CNet)는 탈안개화 출력을 기반으로 훈련되어 의미 일관성을 확보하고, DNet이 분류 가능한 특징을 유지하는 방향으로 유도한다.
• 분류 기반 GAN 구성 요소는 CNet의 특징 맵을 생성기의 조건부 입력으로 사용하여, 시각적으로 타당하고 의미적으로 정확한 탈안개화 이미지를 생성할 수 있도록 한다.
• 모델은 합성 안개 이미지에서 훈련되었지만, 정성적 비교를 통해 실제 세계의 안개 이미지로도 잘 일반화됨을 검증하였다.

실험 결과

연구 질문

• RQ1 고수준 분류 피드백을 통합함으로써 기존 픽셀 수준 지표를 초월해 탈안개화된 이미지의 시각적 품질과 의미적 정확도를 향상시킬 수 있는가?
• RQ2 분류 기반 GAN 아키텍처는 표준 GAN이나 GAN 감독 없이 비해 더 나은 탈안개화 성능과 향상된 분류 정확도를 제공하는가?
• RQ3 탈안개화와 분류 손실을 공동으로 최적화함으로써 탈안개화 이미지의 후행 비전 작업 성능에 어떤 영향을 미치는가?
• RQ4 합성 데이터에서 훈련되었음에도 불구하고, 제안된 통합 아키텍처가 실제 세계의 안개 이미지에 얼마나 잘 일반화되는가?
• RQ5 각 구성 요소(DNet, ССGAN, CNet)가 탈안개화 및 분류 성능 향상에 기여하는 개별 기여도는 어느 정도인가?

주요 결과

• CUB-200-2011 데이터셋에서 전체 모델(DNet+ССGAN+CNet)은 PSNR 21.2995와 SSIM 0.8541을 기록하며, 모든 아블레이션 변형 및 최고 수준의 방법들을 능가한다.
• CUB-200-2011에서 전체 모델은 ResNet 기반으로 67.7%의 분류 정확도를 달성하였으며, 기준 모델(DNet만)의 54.4%와 DNet+CNet 조합의 59.7%보다 뚜렷이 높다.
• Caltech-256에서 전체 모델은 ResNet 기반으로 82.6%의 분류 정확도를 기록하였으며, 기준 모델(DNet만)의 81.9%와 DNet+ССGAN 조합의 82.5%를 초월한다.
• 아블레이션 연구 결과, 분류 기반 GAN(ССGAN)과 분류 하위 네트워크(CNet)가 각각 탈안개화 지표와 분류 정확도 향상에 독립적으로 기여하는 것으로 확인되었다.
• 실제 안개 이미지에 대한 정성적 결과에서는 제안된 방법이 최고 수준의 방법들보다 더 선명하고 왜곡이 적은 출력을 생성하며, 색상 왜곡을 최소화하고 효과적으로 안개를 제거하는 것으로 나타났다.
• 합성 데이터에서 훈련되었음에도 불구하고 모델은 실제 세계의 안개 이미지로 잘 일반화되어 있어 강건성과 실용적 적용 가능성을 입증하였다.