[論文レビュー] On GANs and GMMs

Eitan Richardson, Yair Weiss|arXiv (Cornell University)|May 31, 2018

Generative Adversarial Networks and Image Synthesis被引用数 48

ひとこと要約

この論文は、高次元画像における統計的構造を学習するための生成対抗ネットワーク（GANs）とガウス混合モデル（GMMs）を比較している。本研究では、ニューラルネットワークや計算が困難な計算に依存しない単純なビンベースの評価手法を提案し、GMMsがモード崩壊の問題に陥らないため、完全なデータ分布を捉え、現実的でシャープな画像を生成できることを示している。一方、GANsはこの点で失敗している。

ABSTRACT

A longstanding problem in machine learning is to find unsupervised methods that can learn the statistical structure of high dimensional signals. In recent years, GANs have gained much attention as a possible solution to the problem, and in particular have shown the ability to generate remarkably realistic high resolution sampled images. At the same time, many authors have pointed out that GANs may fail to model the full distribution (mode collapse) and that using the learned models for anything other than generating samples may be very difficult. In this paper, we examine the utility of GANs in learning statistical models of images by comparing them to perhaps the simplest statistical model, the Gaussian Mixture Model. First, we present a simple method to evaluate generative models based on relative proportions of samples that fall into predetermined bins. Unlike previous automatic methods for evaluating models, our method does not rely on an additional neural network nor does it require approximating intractable computations. Second, we compare the performance of GANs to GMMs trained on the same datasets. While GMMs have previously been shown to be successful in modeling small patches of images, we show how to train them on full sized images despite the high dimensionality. Our results show that GMMs can generate realistic samples (although less sharp than those of GANs) but also capture the full distribution, which GANs fail to do. Furthermore, GMMs allow efficient inference and explicit representation of the underlying statistical structure. Finally, we discuss how GMMs can be used to generate sharp images.

研究の動機と目的

• 非推定可能な計算の近似を用いずに、追加のニューラルネットワークに依存しない生成モデルの評価を目的とする。
• 単純であるにもかかわらず、GMMs が大規模な高次元画像を効果的にモデリングできるかどうかを調査すること。
• 同じデータセットを用いて、GANs と GMMs の分布の忠実度とサンプル品質を比較すること。
• GMMs がどのようにしてシャープな画像を生成できるかを検討し、それらのリアルさに関する一般的な批判に応えること。

提案手法

• 定義されたビンに含まれる生成サンプルの相対的割合を数えるビンベースの評価手法を提案し、補助ネットワークや複雑な近似に依存しない。
• 高次元パラメータ化と効率的な推論技術を活用して、大規模な画像にGMMを訓練し、複雑さを扱う。
• GANs と GMMs の両方の比較を公平に行うために、同じデータセットを用いる。
• 明示的な統計的モデリングにより、元のデータ分布を表現し、効率的な推論と解釈可能性を可能にする。
• 精錬技術を用いてGMMsを適用し、単純なサンプリングを超えたシャープな画像の生成を実現する。
• 定量的なビンベースの指標と定性的なサンプル分析を用いて、分布カバレッジとリアルさを比較して結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 非ニューラルの単純な評価手法は、非推定可能な計算の近似を避けても、生成モデルの性能を正確に評価できるか？
• RQ2 モード崩壊に陥りやすいGANsと比較して、大規模な画像に訓練されたGMMsは、完全なデータ分布をよりよく捉えられるか？
• RQ3 GANsと比較して単純であるにもかかわらず、GMMsは現実的でシャープな画像を生成できるか？
• RQ4 GMMsの明示的な統計的表現は、高次元画像モデリングにおける効率的で解釈可能な推論をどのように支援するか？
• RQ5 GMMsは、GANsと同等のシャープな画像サンプルを生成できるように強化できるか？

主な発見

• 提案されたビンベースの評価手法は、追加のニューラルネットワークや複雑な近似を必要とせず、モデルの性能を効果的に測定できる。
• 高次元性にもかかわらず、GMMsは大規模な画像を効果的にモデリングでき、大規模な画像分布学習の可能性を示した。
• GMMsは、視覚的品質においてGANが生成するサンプルと競合する現実的でシャープな画像を生成できる。
• GANsとは異なり、GMMsは完全なデータ分布を捉えており、モード崩壊を回避し、信頼性の高い下流の推論を可能にする。
• GMMsは明示的かつ解釈可能な形で、元の統計的構造を表現しており、効率的で原理的根拠のある推論を可能にする。
• 本研究では、GMMsがシャープな画像を生成できるように強化できることを示し、GANsのような深層生成モデルでなければ高リアルさを達成できないという仮定に疑問を呈した。