[論文レビュー] A Novel Measure to Evaluate Generative Adversarial Networks Based on Direct Analysis of Generated Images

Shuyue Guan, Murray H. Loew|arXiv (Cornell University)|Feb 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 11

ひとこと要約

本論文は、事前学習済み分類器に依存せずに生成画像を直接分析する、GAN評価指標としての新規指標「類似度スコア（LS）」を提案する。ユークリッド距離を用いた距離ベースの分離性インデックスにより、創造性、継承性、多様性を定量化することで、LSは安定的で解釈可能かつ根本的な評価フレームワークを提供し、複数のGANとデータセットにおいてISやFIDを上回るか同等の性能を発揮する。

ABSTRACT

The Generative Adversarial Network (GAN) is a state-of-the-art technique in the field of deep learning. A number of recent papers address the theory and applications of GANs in various fields of image processing. Fewer studies, however, have directly evaluated GAN outputs. Those that have been conducted focused on using classification performance, e.g., Inception Score (IS) and statistical metrics, e.g., Fr\'echet Inception Distance (FID). Here, we consider a fundamental way to evaluate GANs by directly analyzing the images they generate, instead of using them as inputs to other classifiers. We characterize the performance of a GAN as an image generator according to three aspects: 1) Creativity: non-duplication of the real images. 2) Inheritance: generated images should have the same style, which retains key features of the real images. 3) Diversity: generated images are different from each other. A GAN should not generate a few different images repeatedly. Based on the three aspects of ideal GANs, we have designed the Likeness Score (LS) to evaluate GAN performance, and have applied it to evaluate several typical GANs. We compared our proposed measure with two commonly used GAN evaluation methods: IS and FID, and four additional measures. Furthermore, we discuss how these evaluations could help us deepen our understanding of GANs and improve their performance.

研究の動機と目的

• InceptionNetなどの事前学習済み分類器に依存しない、GAN生成画像に対する根本的で直接的な評価手法の欠如に応えること。
• 高品質なGAN生成の3つの核心的特性、すなわち創造性（重複のない生成）、継承性（視覚的忠実度）、多様性（サンプル間の相違性）を定義し、定量化すること。
• ユークリッド距離を用いて画像レベルの類似性と相違性を直接測定する新しい評価指標「類似度スコア（LS）」を構築すること。これは、従来の指標に対する安定的で解釈可能な代替手段を提供する。
• 複数のGANアーキテクチャとデータセットにおいて、LSをIS、FID、1NNC、MS、AM、SWDといった既存指標と比較し、その競争力と解釈可能性を検証すること。

提案手法

• 生成画像と実画像間のユークリッド距離を用いた距離ベースの分離性インデックスを提案し、画像レベルの類似性と相違性を定量化する。
• 3つの評価次元を定義する：創造性（実画像からの距離で測定）、継承性（実画像分布への距離で測定）、多様性（サンプル間距離の分散で測定）。
• 多スケールセルベース解析に基づくクラス内距離（ICD）とクラス間距離（BCD）のフレームワークを用い、これら3要素を統合した統一指標「類似度スコア（LS）」を構築する。
• 事前学習ネットワークを一切使用せず、ピクセルレベルまたは特徴量レベルの距離にのみ依存してLSを生成画像特徴に直接適用する。
• 理論的分析により、実データと生成データの分布が同一の場合、ICDとBCDの距離分布が区別不能になることを証明し、LSの分布忠実度への感受性を検証する。
• ICDおよびBCD集合の分布を比較するため、カーネル密度推定とコルモゴロフ・スミルノフ（KS）距離を用い、LS計算の根幹を形成する。

実験結果

リサーチクエスチョン

• RQ1 InceptionNetなどの事前学習済み分類器に依存しない、生成画像を直接分析するGAN評価指標を開発可能か？
• RQ2 創造性、継承性、多様性というGAN生成の3大特性を、統一的で距離ベースのフレームワークでどの程度定量的に測定できるか？
• RQ3 提案された類似度スコア（LS）は、DCGAN、WGAN-GP、SNGAN、LSGAN、SAGANといった多様なGANアーキテクチャにおいて、IS、FID、MS、AM、SWDといった既存指標と比較して、性能と安定性でどの程度優れるか？
• RQ4 LSは、特に過学習やモード崩壊の検出において、従来の指標よりも解釈可能で安定した結果を提供できるか？

主な発見

• 類似度スコア（LS）は、生成画像を直接的かつ分類器フリーに分析することで、GAN生成の3つの望ましい特性、すなわち創造性、継承性、多様性を効果的に捉えている。
• LSは、DCGAN、WGAN-GP、SNGAN、LSGAN、SAGANといった複数のGANと、さまざまなデータセットにおいて、ISやFIDと同等またはそれ以上の高い性能を示している。
• LSは生成画像の数に対して安定しており、異なるサンプルサイズでも一貫した挙動を示している。
• 理論的分析により、実データと生成データの分布が同一の場合、クラス内距離（ICD）とクラス間距離（BCD）の距離分布が同一になることが証明され、LSの分布忠実度への感受性が裏付けられた。
• LSは過学習やモード崩壊を効果的に検出できており、重複するか極めて類似した画像を生成するGANを区別できる能力を示している。
• LSは、指標値を視覚的品質要因と直接結びつけることで、分類器出力に基づく指標よりも明確な説明を可能にする、より解釈可能な評価を提供している。