[論文レビュー] Classification-driven Single Image Dehazing

Yanting Pei, Yaping Huang+1 more|arXiv (Cornell University)|Nov 21, 2019

Image Enhancement Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、除霧サブネットワーク（DNet）、分類駆動型条件付きGAN（CCGAN）、分類サブネットワーク（CNet）を統合することで、画像の除霧と画像分類を統合的に最適化するエンドツーエンドのCNNアーキテクチャを提案する。本手法は、高レベルの意味的フィードバックを活用することで、視覚的品質と下流タスクのパフォーマンスを向上させ、CUB-200-2011およびCaltech-256の両データセットにおいて除霧指標（PSNR、SSIM）と分類精度の両方を顕著に向上させ、最先端手法を上回る性能を発揮する。

ABSTRACT

Most existing dehazing algorithms often use hand-crafted features or Convolutional Neural Networks (CNN)-based methods to generate clear images using pixel-level Mean Square Error (MSE) loss. The generated images generally have better visual appeal, but not always have better performance for high-level vision tasks, e.g. image classification. In this paper, we investigate a new point of view in addressing this problem. Instead of focusing only on achieving good quantitative performance on pixel-based metrics such as Peak Signal to Noise Ratio (PSNR), we also ensure that the dehazed image itself does not degrade the performance of the high-level vision tasks such as image classification. To this end, we present an unified CNN architecture that includes three parts: a dehazing sub-network (DNet), a classification-driven Conditional Generative Adversarial Networks sub-network (CCGAN) and a classification sub-network (CNet) related to image classification, which has better performance both on visual appeal and image classification. We conduct comprehensive experiments on two challenging benchmark datasets for fine-grained and object classification: CUB-200-2011 and Caltech-256. Experimental results demonstrate that the proposed method outperforms many recent state-of-the-art single image dehazing methods in terms of image dehazing metrics and classification accuracy.

研究の動機と目的

• 既存の除霧手法がピクセルレベルの指標（例：PSNR、SSIM）に最適化される一方で、高レベルのビジョンタスクのパフォーマンスを考慮しないという限界に対処すること。
• 分類フィードバックを統合することで、除霧画像の視覚的品質と意味的忠実度が向上するかを検証すること。
• 除霧と画像分類を同時に最適化するエンドツーエンドのディープラーニングフレームワークを構築すること。
• 分類ガイド付きで生成された除霧画像が、画像分類のような下流タスクにおいても優れた性能を維持することを実証すること。

提案手法

• 本フレームワークは3つのコンponentから構成される：画像修復のための除霧サブネットワーク（DNet）、現実性と詳細を向上させるための分類駆動型条件付きGAN（CCGAN）、高レベルの監視を提供するための分類サブネットワーク（CNet）。
• CCGANサブネットワークは、除霧画像が人間の知覚的に現実的であるだけでなく、高レベルの分類性能を最適化するように学習される。
• 全ネットワークは、除霧のためのピクセルレベル再構成損失（MSE）とCNetの分類損失を組み合わせた損失関数を用いてエンドツーエンドで学習される。
• 分類サブネットワーク（CNet）は除霧出力上で学習され、意味的整合性を保証するとともに、DNetが判別可能な特徴を保持する画像を生成するように誘導する。
• 分類駆動型GANコンponentは、CNetの特徴マップを生成器の条件入力として使用し、視覚的に現実的でかつ意味的に正確な除霧画像を生成可能にする。
• モデルは合成された曇り画像で学習されるが、定量的比較を通じて、実世界の曇り画像に対しても良好な一般化性能を示している。

実験結果

リサーチクエスチョン

• RQ1 高レベルの分類フィードバックを統合することで、標準的なピクセルレベル指標を超えて、除霧画像の視覚的品質と意味的忠実度が向上するか？
• RQ2 分類駆動型GANアーキテクチャは、標準的なGANやGAN監視なしの手法と比較して、より優れた除霧性能と分類精度を達成するか？
• RQ3 除霧と分類損失の共同最適化が、除霧画像に対する下流ビジョンタスクのパフォーマンスにどのように影響するか？
• RQ4 合成データで学習されたにもかかわらず、本手法の統合アーキテクチャが実世界の曇り画像にどの程度一般化できるか？
• RQ5 各コンponent（DNet、CCGAN、CNet）が除霧と分類の両方のパフォーマンス向上に果たす個別の貢献度はどの程度か？

主な発見

• CUB-200-2011データセットでは、全モデル（DNet+CCGAN+CNet）がPSNR 21.2995、SSIM 0.8541を達成し、すべてのアブレーションバリアントおよび最先端手法を上回る性能を示した。
• CUB-200-2011では、全モデルがResNetを用いて67.7％の分類精度を達成し、DNet単体のベースライン（54.4％）およびDNet+CNetの59.7％を大きく上回った。
• Caltech-256では、全モデルがResNetを用いて82.6％の分類精度を達成し、DNet単体のベースライン（81.9％）およびDNet+CCGANの82.5％を上回った。
• アブレーションスタディの結果、分類駆動型GAN（CCGAN）と分類サブネットワーク（CNet）の両方が、独立して除霧指標と分類精度を向上させることを確認した。
• 実際の曇り画像に対する定性的な結果では、本手法が最先端手法と比較して、色の歪みが少なく、より明確で歪みの少ない出力を得ていることが示された。
• 合成データで学習されたにもかかわらず、本モデルは実世界の曇り画像に対しても良好な一般化性能を示し、頑健性と実用的応用可能性を実証した。