[論文レビュー] Geometry Score: A Method For Comparing Generative Adversarial Networks

Valentin Khrulkov, Ivan Oseledets|arXiv (Cornell University)|Feb 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 51

ひとこと要約

本論文は Geometry Score を導入します。これはデータとモデル多様体のトポロジーを整合させることで GAN を比較する、持続的ホモロジーと相対生存時間を用いたトポロジーに基づく指標です。合成データ、MNIST、CelebA、CaloGAN にわたって GAN を評価します。

ABSTRACT

One of the biggest challenges in the research of generative adversarial networks (GANs) is assessing the quality of generated samples and detecting various levels of mode collapse. In this work, we construct a novel measure of performance of a GAN by comparing geometrical properties of the underlying data manifold and the generated one, which provides both qualitative and quantitative means for evaluation. Our algorithm can be applied to datasets of an arbitrary nature and is not limited to visual data. We test the obtained metric on various real-life models and datasets and demonstrate that our method provides new insights into properties of GANs.

研究の動機と目的

• モード崩壊を検出しサンプルの多様性を評価できる、トポロジーに基づく GAN 評価の必要性を喚起する。
• データとモデル多様体をそのトポロジ的特徴を通じて比較する指標（Geometry Score）を提案する。
• 手法をデータセットに依存しないものとし、高次元で非視覚的なデータにも適用可能にする。
• 合成データ、MNIST、CelebA、CaloGAN でこのアプローチを実演し、定性的・定量的な洞察を提供する。

提案手法

• データと生成サンプルを、流線的な多様体を近似する点群として表現する。
• ランドマークとウィットネスからウィットネス複体を構築し、トポロジー要約を得る。
• H1（第一ホモロジー）に対して持続的ホモロジーと相対生存時間（RLT）を計算する。
• ランダムなランドマークの選択に対して RLT を平均化して平均相対生存時間（MRLT）を定義する。
• Geometry Score を、次元1における二つのデータセットの MRLT 分布間の L2 距離として定義する。
• α（パーシステンス）パラメータを用いてフィルトレーションを作成し、標準的なパーシステンスアルゴリズムでバーコードを抽出する。

実験結果

リサーチクエスチョン

• RQ1 生成データ多様体のトポロジーは、視覚的検査を超えて GAN の品質とモードカバレッジを明らかにできるか。
• RQ2 MRLT 分布はデータとモデルサンプルの本質的なトポロジ的特徴をどの程度正確に捉えるか。
• RQ3 Geometry Score は GAN のバリアント（例：WGAN vs. WGAN-GP）を区別し、データセット間のモード崩壊を検出できるか。
• RQ4 Geometry Score は非視覚データや高次元データに適用可能か。
• RQ5 大規模データセットに対する手法の計算実現性はどうか。

主な発見

• Geometry Score はデータと生成サンプル間のトポロジ的類似性を定量的に測定する。
• MRLT 分布はスケール全体にわたるトポロジー特徴（1D の穴）の存在と安定性を示す。
• MNIST ではほとんどの数字において WGAN-GP が WGAN よりも良い Geometry Score を与え、サンプル品質の高さと整合する傾向が見られる。
• Good-model CelebA サンプルは地上 truth に近いトポロジーを示す一方、モード崩壊したモデルは異なる MRLT パターンを示す。
• CaloGAN の解析は、非視覚データへの適用可能性と解釈可能なトポロジー差異を示す。
• 実践的には Geometry Score は既存の指標を補完し、ハイパーパラメータ調整の指針となり得る。