[論文レビュー] Compound Frechet Inception Distance for Quality Assessment of GAN Created Images

Eric J. Nunn, Pejman Khadivi+1 more|arXiv (Cornell University)|Jun 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 8

ひとこと要約

本論文は、複数のレベルの特徴表現——低レベル、ミドルレベル、高レベルの特徴——を統合した新しい指標であるコン pound Frechet Inception Distance (C-FID) を提案する。この指標は、FIDに基づく評価を統合的に拡張することで、生成画像の品質評価における性能を向上させる。これらの抽象化を組み合わせることで、視覚的欠陥の検出において標準FIDを上回るロバスト性を達成し、特に知覚的品質が損なわれているがFIDスコアが誤って低く保たれる状況において顕著な優位性を示す。

ABSTRACT

Generative adversarial networks or GANs are a type of generative modeling framework. GANs involve a pair of neural networks engaged in a competition in iteratively creating fake data, indistinguishable from the real data. One notable application of GANs is developing fake human faces, also known as "deep fakes," due to the deep learning algorithms at the core of the GAN framework. Measuring the quality of the generated images is inherently subjective but attempts to objectify quality using standardized metrics have been made. One example of objective metrics is the Frechet Inception Distance (FID), which measures the difference between distributions of feature vectors for two separate datasets of images. There are situations that images with low perceptual qualities are not assigned appropriate FID scores. We propose to improve the robustness of the evaluation process by integrating lower-level features to cover a wider array of visual defects. Our proposed method integrates three levels of feature abstractions to evaluate the quality of generated images. Experimental evaluations show better performance of the proposed method for distorted images.

研究の動機と目的

• 標準FIDが、知覚的に劣悪または歪んだGAN生成画像に対して罰則を科さないという限界を是正すること。
• 構造的・テクスチャ的欠陥を捉える低レベルの視覚的特徴を組み込むことで、GAN画像品質評価のロバスト性を向上させること。
• 高レベルの意味的特徴とミドル・ローレベルの視覚的抽象化を統合した包括的な品質評価を可能にする統一指標を開発すること。
• 特に画像歪みやアーティファクトが生じる状況において、より信頼性が高く知覚に整合した評価指標を提供すること。

提案手法

• 本手法は、事前学習済みInceptionネットワークの複数の層からの特徴マップを統合することで、標準FIDを拡張する。具体的には、低レベル（初期畳み込み層）、ミドルレベル（中間層）、高レベル（最終分類層）の特徴を対象とする。
• 各特徴レベルごとに個別のFIDスコアを計算し、異なる抽象化レベルからの寄与をバランスさせる重み付き統合戦略を用いて、複合指標を構築する。
• 特徴抽出には事前学習済みInception v3を用い、最終平均プーリング層および中間層からの特徴ベクトルを抽出することで、意味的特徴と低レベルの視覚パターンの両方を捉える。
• 最終的なC-FIDスコアは、3つのレベルにおける個別のFIDスコアの重み付き和として計算され、ハイパーパramータを調整して欠陥感受性の高い低レベル特徴の寄与を強調する。
• 本手法は、実画像と生成画像の特徴の多変量ガウス分布間のFréchet距離を測定することで、FIDの統計的基盤を維持する。
• アーティファクト（ぼやけ、ノイズ、テクスチャの不一致など）に対する感受性を評価するために、制御された歪みを加えたベンチマークデータセット上で評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 低レベルの視覚的特徴を統合することで、FIDの知覚的に劣化したGAN生成画像に対する感受性が向上するか？
• RQ2 多層特徴抽象化の組み合わせが、FIDスコアと人間の画像品質評価の間の相関に与える影響は何か？
• RQ3 提案されたC-FID指標は、ぼやけやノイズなどの画像歪みを検出する点で、標準FIDをどの程度上回るか？
• RQ4 ミドルおよびローレベル特徴の統合により、多様または不完全なデータセットで学習されたGANの評価がよりロバストになるか？
• RQ5 FIDが視覚的劣化を反映しない状況において、C-FIDは知覚的品質のより信頼できる代理指標として機能するか？

主な発見

• C-FIDは、標準FIDがしばしば罰則を科さないぼやけ、ノイズ、テクスチャの不一致といった視覚的アーティファクトの検出において優れた性能を示した。
• 制御された歪みを加えたデータセットにおいて、C-FIDは標準FIDよりも人間の知覚的判断と強い相関を示した。
• 低レベル特徴の統合により、FIDスコアが低く保たれるにもかかわらず画像品質が著しく劣化している状況において、指標の感受性が顕著に向上した。
• 多層特徴の重み付き統合により、よりバランスの取れた信頼性の高い評価が実現され、品質評価における誤検出（偽陽性）が低減された。
• 実験により、C-FIDが、標準FIDスコアが誤って好意的である場合でも、低品質な画像を生成するモデルを効果的に同定できることを確認した。
• 計算上の実行可能性を維持しつつ、実用的な展開状況におけるGAN評価の信頼性を顕著に向上させた。