[論文レビュー] Quality Evaluation of GANs Using Cross Local Intrinsic Dimensionality

Sukarna Barua, Xingjun Ma+3 more|arXiv (Cornell University)|May 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 5

ひとこと要約

本稿では、実データ多様体と生成データ多様体の整合性を測る、クロス局所内因数次元性に基づく新規な GAN 評価指標である CrossLID を提案する。生成サンプル内の近傍を基準として、実データの局所的内因数次元性を推定することにより、モード崩壊を効果的に検出でき、訓練進行と強く相関し、ノイズ、変換、小規模なサンプルサイズの下でも、サンプル効率が高く、安定した品質評価が可能である。FID や IS よりも感度と安定性に優れ、性能を上回る。

ABSTRACT

Generative Adversarial Networks (GANs) are an elegant mechanism for data generation. However, a key challenge when using GANs is how to best measure their ability to generate realistic data. In this paper, we demonstrate that an intrinsic dimensional characterization of the data space learned by a GAN model leads to an effective evaluation metric for GAN quality. In particular, we propose a new evaluation measure, CrossLID, that assesses the local intrinsic dimensionality (LID) of real-world data with respect to neighborhoods found in GAN-generated samples. Intuitively, CrossLID measures the degree to which manifolds of two data distributions coincide with each other. In experiments on 4 benchmark image datasets, we compare our proposed measure to several state-of-the-art evaluation metrics. Our experiments show that CrossLID is strongly correlated with the progress of GAN training, is sensitive to mode collapse, is robust to small-scale noise and image transformations, and robust to sample size. Furthermore, we show how CrossLID can be used within the GAN training process to improve generation quality.

研究の動機と目的

• GAN の生成品質を評価するための信頼性があり定量的な指標の不足、特にモード崩壊や一般化失敗の検出を、解決すること。
• FID や IS などの既存指標の限界である、小規模なノイズ、画像変換、サンプルサイズの変動に対して頑健である指標を開発すること。
• 実データと生成データの分布の整合性を、局所的で近傍に基づく内因数次元性として測定する手法を実現すること。
• モードに特化したオーバースマッピング戦略を用いて、CrossLID を GAN 訓練に統合し、訓練の安定性と品質を向上させること。
• Inception Score や Fréchet Inception Distance といったグローバル指標の代替として、より感度が高く信頼性の高い指標を提供すること。

提案手法

• 実データ点の局所的内因数次元性（LID）を、GAN が生成したサンプル内の近傍を基準として推定する、LID のクロス推定として CrossLID を提案する。
• 半径が増加する近傍内での確率質量の増加率に基づき、各実サンプルの周囲の局所的データ部分多様体の内因数次元性を LID モデルで推定する。
• 生成サンプルを基準近傍として使用し、実データ点全体の平均 LID を計算することで、実データと生成データの分布間の整合性を定量化する。
• 各モードのカバー度を示すモード別 CrossLID スコアを計算することで、GAN 出力における未カバーのモードを特定する。
• 低カバー度のモードの訓練頻度を向上させる、CrossLID を用いたオーバースマッピング戦略を導入し、ディスクライマインの一般化を向上させ、モード崩壊を防止する。
• 生成サンプルの潜在空間における距離分布の実測値を用いて、k-近傍法（k-NN）を用いて LID 値を効率的に推定する。

実験結果

リサーチクエスチョン

• RQ1 グローバル指標と比較して、局所的で近傍に基づく内因数次元性の測定は、GAN 生成サンプルの品質評価に有効であるか？
• RQ2 CrossLID はモード崩壊に対してどれほど感度が高く、GAN 出力におけるデータモードの不完全なカバーを検出できるか？
• RQ3 IS や FID と比較して、CrossLID は小規模なノイズ、画像変換、サンプルサイズの変動に対してどれほど頑健か？
• RQ4 CrossLID を用いて、カバー度が低いデータモードを特定し、標的オーバースマッピングによる一般化の向上を実現できるか？
• RQ5 訓練ループに CrossLID を統合することで、GAN の生成品質と訓練の安定性に顕著な向上が見られるか？

主な発見

• CrossLID は GAN 訓練進行と強く相関しており、スコアの低下が実データと生成データの分布間の整合性の向上を示す。
• CrossLID はモード崩壊に対して極めて感度が高く、二峰性分布のうち片方のモードしかカバーしない生成サンプルでは、スコアが著しく上昇する（例：図1では 7.33 対 2.10）。
• CrossLID は小規模な入力ノイズや画像変換に対しても頑健であり、同様の摂動下で FID や IS よりも安定性に優れる。
• CrossLID は異なるサンプルサイズにおいても最小の分散を示し、5,000 サンプルでも安定している。一方、FID は高い感受性を示し、IS は中程度の安定性を示す。
• CrossLID を用いたオーバースマッピング戦略により、MNIST、CIFAR-10、SVHN における DCGAN および WGAN モデルで、CrossLID スコアが 0.15～0.22 減少し、モードカバレッジと分布整合性の向上が示された。
• アブレーションスタディでは、バッチ正規化をディスクライマインや両ネットワークから削除しても、CrossLID を用いた訓練ではモード崩壊が防止されたが、標準的な訓練では多様なサンプルが生成されなかった。