[論文レビュー] Generative Models and Model Criticism via Optimized Maximum Mean Discrepancy

Danica J. Sutherland, Hsiao-Yu Fish Tung+5 more|arXiv (Cornell University)|Nov 14, 2016

Generative Adversarial Networks and Image Synthesis被引用数 108

ひとこと要約

本論文は、最大平均差異（MMD）二標本検定の力を、分布を最もよく識別するカーネルと特徴写像を選択することで最適化する方法を開発し、GAN評価、モデル批評、学習基準への適用を行う。

ABSTRACT

We propose a method to optimize the representation and distinguishability of samples from two probability distributions, by maximizing the estimated power of a statistical test based on the maximum mean discrepancy (MMD). This optimized MMD is applied to the setting of unsupervised learning by generative adversarial networks (GAN), in which a model attempts to generate realistic samples, and a discriminator attempts to tell these apart from data samples. In this context, the MMD may be used in two roles: first, as a discriminator, either directly on the samples, or on features of the samples. Second, the MMD can be used to evaluate the performance of a generative model, by testing the model's samples against a reference data set. In the latter role, the optimized MMD is particularly helpful, as it gives an interpretable indication of how the model and data distributions differ, even in cases where individual model samples are not easily distinguished either by eye or by classifier.

研究の動機と目的

• 高次元または構造化データにおける分布の類似性の使用を動機づけ、形式化する。
• カーネルと特徴表現を調整してMMD検定の力を最大化する手順を開発する。
• 置換に基づくMMD検定のためのデータ依存の閾値を効率的に提供する。
• GANの評価とモデル批評においてアプローチを実証し、分布差異の可視化を含める。
• 生成モデルとサンプル多様性を改善するためのMMDベースの学習基準を提案する。

提案手法

• PとQの間のMMDをU-statisticベースの推定量を用いて定義・推定する。
• 検出力の式を導出し、力は1ステップt統計量 t_k(P,Q)=MMD_k^2(P,Q)/sqrt(V_m^{(k)}(P,Q))を最大化することによって最大化されることを示す。
• 入力の意味のある特徴を抽出する z を用いて k∘z の組合せにわたるカーネル探索を導入し、経験的な t_k を最大化するように z と κ を最適化する。
• 分散 V_m(P,Q) の微分可能な推定量を提供し、勾配ベースのカーネル/特徴最適化を可能にする。
• kernelの学習を行いながら検定の妥当性を保つためのトレーニングデータとテストデータの分割を実装する（トレーニングデータでカーネル選択、最終的なテストはテストデータで実施）。
• V̂_m(X,Y) の効率的で微分可能な表現と、それを勾配ベースの最適化での利用を提案する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの二標本検定の力を、カーネルと特徴選択を通じてどのように最適化できるか？
• RQ2 MMD検定力を最適化することは、MMDの単純な最大化よりもモデルサンプルと参照データの識別性をより信頼できるものにするか？
• RQ3 最適化されたMMDを用いて生成モデル（例: GAN）の評価・診断や学習基準の改善に役立てることができるか？
• RQ4 最適化されたMMDのウィットネス関数をどのように可視化して分布差を診断するか？
• RQ5 高次元での置換閾値の効率的な実装はどのように実現するか？

主な発見

• カーネルと特徴マップを最適化してMMD検定の力を最大化すると、単純にMMD統計量を最大化するだけより高い検出力を得られる。
• 出力次元に対するARDベースのカーネルは、検定が最適化されたときに意味のある差異を持つ座標を識別するのに役立つ。
• 最適化されたMMDからのウィットネス関数は、二つの分布が最も異なる部分を明らかにし、解釈可能な診断を可能にする。
• 最適化されたMMD基準はGAN派生物（例: gmmn, t-gmmn, および特徴量マッチングGAN）を学習目的として使用でき、サンプル多様性を改善しモード崩壊を減らす。
• null分布のための高度に最適化された置換検定は閾値計算を大幅に加速し、O(m^2) のスケーリングを持ち、スペクトル法（O(m^3)）に比べて大幅な速度向上を提供する。
• MNIST上の実証デモンストレーションでは、最適化されたMMD識別子がモデルとデータ分布の微妙な差を検出し、学習済み特徴重みがモデルの偏差を示す（例: 画像の境界と中央の垂直線）。