[論文レビュー] Quality Aware Generative Adversarial Networks

Parimala Kancharla, Sumohana S. Channappayya|arXiv (Cornell University)|Nov 8, 2019

Image and Video Quality Assessment被引用数 19

ひとこと要約

本稿では、品質に配慮したGAN（QAGAN）を提案する。この手法は、WGAN-GPフレームワークに、具体的にはSSIMの変種と、新しいNIQEにインspiredされた勾配ペナルティを組み込み、画像品質評価指標を統合することで、生成画像の品質を向上させる。CIFAR-10、STL-10、CelebAにおいて、最先端のFIDおよびISスコアを達成しており、画像品質指標を正則化項として明示的に用いることで、視覚的忠実性と訓練安定性が著しく向上することを示している。

ABSTRACT

Generative Adversarial Networks (GANs) have become a very popular tool for implicitly learning high-dimensional probability distributions. Several improvements have been made to the original GAN formulation to address some of its shortcomings like mode collapse, convergence issues, entanglement, poor visual quality etc. While a significant effort has been directed towards improving the visual quality of images generated by GANs, it is rather surprising that objective image quality metrics have neither been employed as cost functions nor as regularizers in GAN objective functions. In this work, we show how a distance metric that is a variant of the Structural SIMilarity (SSIM) index (a popular full-reference image quality assessment algorithm), and a novel quality aware discriminator gradient penalty function that is inspired by the Natural Image Quality Evaluator (NIQE, a popular no-reference image quality assessment algorithm) can each be used as excellent regularizers for GAN objective functions. Specifically, we demonstrate state-of-the-art performance using the Wasserstein GAN gradient penalty (WGAN-GP) framework over CIFAR-10, STL10 and CelebA datasets.

研究の動機と目的

• GANの学習目的に、広く評価指標として用いられている客観的画像品質評価（IQA）指標の明示的統合が不足しているという問題に取り組むこと。
• WGAN-GPフレームワークに、フルレファレンス（SSIM）およびノーレファレンス（NIQE）IQA指標を正則化項として組み込むことで、GANの視覚的品質と訓練安定性を向上させること。
• 自然画像の統計的・構造的特徴をIQA指標を通じて活用することで、より現実的で高品質な生成画像が得られることを示すこと。
• 提案された正則化項が、プログレッシブでないGANにとどまらず、PGGANのようなプログレッシブアーキテクチャに対しても有効であることを示し、収束性の向上や画像品質の向上を実現すること。

提案手法

• 自然画像の局所的統計的特徴に基づく、NIQEノーレファレンスIQA指標にインspiredされた品質に配慮したディスクライマータ勾配ペナルティを提案する。
• WGAN-GPの目的関数に、実画像と生成画像の構造的類似性を促進する、変更されたSSIMの変種を正則化項として導入する。
• IQAに基づく制約を含む勾配ペナルティ項を変更することで、WGAN-GPフレームワーク内で正則化を適用し、ディスクライマータの勾配ノルムが知覚的品質に基づいてペナルティを受けるようにする。
• 二重正則化戦略を採用する：一方ではSSIMを用いてフルレファレンス品質の監視を、もう一方ではNIQEを用いてノーレファレンス品質モデリングを実施する。
• プログレッシブな訓練段階において同じ正則化項を適用することで、PGGANへの応用を拡張し、高解像度での収束性と画像品質の向上を実現する。
• FIDおよびInceptionスコア（IS）を評価指標として用い、WGAN-GP、SNGAN、MMD GAN、Banach WGANsといった最先端のベースラインとQAGANの定量的比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 SSIMやNIQEといった客観的画像品質指標を、標準的なGAN損失を超えて画像品質向上に有効に正則化項として用いることができるか？
• RQ2 標準的なWGAN-GPと比較して、NIQEにインスパイアされた勾配ペナルティを組み込むことで、GANの訓練ダイナミクスと視覚的品質にどのような影響を与えるか？
• RQ3 IQA指標の統合により、FIDとISの両方で一貫した改善が得られるか？これは、より優れたサンプルの多様性と現実性を示唆する。
• RQ4 提案された品質に配慮した正則化項は、PGGANのようなプログレッシブGANアーキテクチャに対しても効果的に適用可能か？また、収束性の加速や画像品質の向上が見られるか？
• RQ5 なぜNIQEベースの正則化項はCIFAR-10で一貫しないISスコアを示すのか？また、画像解像度がノーレファレンスIQA指標推定の信頼性にどのように影響するか？

主な発見

• SSIMベースの正則化項を用いたQAGANは、CIFAR-10（64×64）で13.91 ± 0.105のFréchet Inception Distance（FID）を達成し、WGAN-GP（FID: 40.2）およびSNGAN（FID: 21.5）を上回った。
• CelebA（64×64）では、QAGAN（SSIM）がFID 6.421を達成し、MMD GAN-rep-b（6.79）およびBanach WGAN（10.5）を上回り、最先端の性能を示した。
• STL-10（96×96）では、QAGAN（SSIM）がIS 9.66 ± 0.18およびFID 3.7155 ± 0.004を達成し、PGGAN（256×256でFID: 62.86）および他のベースラインを著しく上回った。
• NIQEベースの正則化項により、CelebA（256×256）におけるFIDはPGGANの62.86から、PGGAN + QAGAN-SSIMの40.83およびPGGAN + QAGAN-NIQEの47.27に改善され、収束が速くなり、品質が向上した。
• CIFAR-10（32×32）では、NIQEベースの正則化項が一貫しないISスコア（7.87 ± 0.027）を示したが、これは低解像度でのパラメータ推定が不十分なためであり、画像サイズに敏感である可能性を示唆した。
• 提案された正則化項は、すべてのデータセットでFIDおよびISを一貫して向上させ、QAGANがより現実的で多様性に富み、知覚的に優れたサンプルを生成することを示した。