[論文レビュー] A Classification-Based Study of Covariate Shift in GAN Distributions

Shibani Santurkar, Ludwig Schmidt+1 more|arXiv (Cornell University)|Nov 2, 2017

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、GANによって生成された分布における共変量シフトを定量化する分類ベースのフレームワークを提案する。モード崩壊と境界歪みが、主な多様性損失の要因であることが明らかになった。実データと生成データを、入力空間の異なる領域（例えば、中心部と境界部）で区別するためのバイナリ分類器を訓練することで、最先端のGANは、視覚的品質が高くても、特に周縁領域において、実データに比べて顕著に分布の多様性に欠けることが判明した。

ABSTRACT

A basic, and still largely unanswered, question in the context of Generative Adversarial Networks (GANs) is whether they are truly able to capture all the fundamental characteristics of the distributions they are trained on. In particular, evaluating the diversity of GAN distributions is challenging and existing methods provide only a partial understanding of this issue. In this paper, we develop quantitative and scalable tools for assessing the diversity of GAN distributions. Specifically, we take a classification-based perspective and view loss of diversity as a form of covariate shift introduced by GANs. We examine two specific forms of such shift: mode collapse and boundary distortion. In contrast to prior work, our methods need only minimal human supervision and can be readily applied to state-of-the-art GANs on large, canonical datasets. Examining popular GANs using our tools indicates that these GANs have significant problems in reproducing the more distributional properties of their training dataset.

研究の動機と目的

• 視覚的検査を超えた、スケーラブルで定量的なGANの分布的多様性評価手法の開発。
• 2つの具体的な多様性損失の形態（モード崩壊と境界歪み）の特定と測定。
• CelebA や LSUN のような大規模データセットにおける最先端GANに適用可能な、最小限の人的監視を要するフレームワークの構築。
• GANが、外見が現実的であるにもかかわらず、実データの全多様性を捉えていないことの実証。

提案手法

• 入力空間の異なる領域（例：中心部 vs. 周縁部）からのデータを用いて、実データとGAN生成データを区別するバイナリ分類器を訓練する。
• 分類精度を用いて共変量シフトを測定する：高い精度は、実データと生成データの間の分布的乖離が大きいことを示す。
• 2つの特定のシフト形態を定義する：モード崩壊（高密度領域における多様性の喪失）と境界歪み（低密度で周縁領域における多様性の喪失）。
• すべてのGANとデータセットで同じ分類器アーキテクチャを用いることで、比較可能性とスケーラビリティを確保する。
• CelebA および LSUN データセットで訓練された5つの代表的GAN（例：Progressive GAN, StyleGAN）にこの手法を適用する。
• 異なる分類器アーキテクチャにおける感度分析を含め、GANと実データの間で一貫した指標を用いて相対的性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 共変量シフトの尺度として測定した場合、GANは真のデータ分布の全多様性をどの程度捉えていないか？
• RQ2 モード崩壊と境界歪みは、GAN生成サンプルの分布的忠実性にどのように影響するか？
• RQ3 最小限の人的監視と高いスケーラビリティを備えた分類ベースのアプローチは、GANにおける多様性損失を検出可能か？
• RQ4 特にサポート領域の周縁部において、GAN生成データの多様性は実データと比べてどうか？

主な発見

• すべての調査対象GANは顕著な共変量シフトを示しており、実データに比べて分布的多様性が著しく損なわれていることが判明した。
• モード崩壊は広範に見られる問題であり、データ多様体の高密度領域でGANが多様なサンプルを生成できていないことが明らかになった。
• 境界歪みは、かつて軽視されてきた問題であり、データ分布の周縁部でGANの多様性が著しく低下していることが判明した。
• GANが生成するデータの多様性は、数個のオーダーも小さい実データセットと同等の水準にとどまる。
• GANのオーバーサンプリングは、失われた多様性を効果的に回復しないことから、分布学習における根本的な制限があることが示唆された。
• GANのサンプルの高視覚的品質は、分布的多様性と相関しないか、場合によっては逆相関すら示すことがある。