[論文レビュー] A Test of Relative Similarity For Model Selection in Generative Models

Wacha Bounliphone, Eugene Belilovsky+3 more|arXiv (Cornell University)|Nov 14, 2015

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 12

ひとこと要約

本稿では、生成モデルを比較するための非パラメトリックな統計的仮説検定、Relative MMD を提案する。この手法は、どの生成モデルのサンプルが実際のリファレンスデータセットに有意に近いかを評価することで、尤度が計算不能な状況においても信頼性の高いモデル選択を可能にする。各モデルのサンプルとリファレンスとの間の最大平均差異（MMD）値の差を用い、二つのMMDの同時漸近分布を導出することで有意性を検定する。この方法により、深層生成モデルにおける尤度、精度、変分下界と整合するモデル選択が可能であることが示された。

ABSTRACT

Probabilistic generative models provide a powerful framework for representing data that avoids the expense of manual annotation typically needed by discriminative approaches. Model selection in this generative setting can be challenging, however, particularly when likelihoods are not easily accessible. To address this issue, we introduce a statistical test of relative similarity, which is used to determine which of two models generates samples that are significantly closer to a real-world reference dataset of interest. We use as our test statistic the difference in maximum mean discrepancies (MMDs) between the reference dataset and each model dataset, and derive a powerful, low-variance test based on the joint asymptotic distribution of the MMDs between each reference-model pair. In experiments on deep generative models, including the variational auto-encoder and generative moment matching network, the tests provide a meaningful ranking of model performance as a function of parameter and training settings.

研究の動機と目的

• 尤度が計算不能または計算コストが非常に高い深層生成モデルにおけるモデル選択の課題に対処すること。
• 実際のリファレンスデータセットに対する相対的な類似度に基づき、二つの生成モデルを統計的に厳密かつ分散が小さい方法で比較する手法の開発。
• 尤度や高価な交差検証に依存せずに、一方のモデルのサンプルが他方よりも有意にリファレンスに近いかどうかを判断する仮説検定の提供。
• 最大平均差異（MMD）の利用を学習の段階にとどめず、統計的有意性を伴うモデル評価および選択へと拡張すること。

提案手法

• 検定統計量として、各モデルの生成サンプルと実際のリファレンスデータセットとの間のMMD値の差を用いる。
• 異なるモデルが同一のリファレンスに対して生成する二つの相関のあるMMDの同時漸近分布を、分布が不等である場合に導出する。
• 帰無仮説は「第二のモデルが第一のモデルよりも有意にリファレンスに近いとは言えない」であり、対立仮説は「第一のモデルがより近い」とする。
• この手法は非パラメトリックであり、U統計量に基づくため、複数の依存する統計量へ一般化可能で、漸近的挙動も安定している。
• 各確率分布の固有の埋め込みを可能にするために、特徴的カーネルを用いてMMDを確率分布上での適切な距離尺度とする。
• VAEおよびGMMNにおいて、さまざまな学習方針とハイパーパrameter設定を用い、モデル性能の順位付けに応用した。

実験結果

リサーチクエスチョン

• RQ1 尤度が計算不能な状況において、一方の生成モデルのサンプルが他方よりも有意に実データ分布に近いかを特定する統計的検定を開発できるか？
• RQ2 異なるモデルが同一のリファレンスに対して生成する二つのMMDの同時漸近分布を、分布が不等であるという仮定のもとでどのように導出できるか？
• RQ3 Relative MMD検定が、尤度、分類精度、変分下界といった既存の指標と整合するモデル性能の順位付けを提供できるか？
• RQ4 尤度の計算を必要とせず、モデルアーキテクチャーや学習設定の違いに関わらず、性能の差を信頼性高く検出できるか？

主な発見

• 合成実験において、帰無仮説および対立仮説の両条件下で、相対的に優れたサンプル品質を持つモデルを正しく同定した。
• MNISTデータセットでは、GMMNの層数が少なく、隠れユニット数が多いモデルが有意に優位に選ばれ、尤度が高く、分類精度も良好であったことと整合した。
• 検定結果はパルゼンウインドウ法による尤度推定値や変分下界と強く一致し、評価指標としての信頼性が裏付けられた。
• 高価な交差検証やパーミュテーションテストを必要とせず、統計的有意性の保証が得られた。
• 計算コストは二次時間（quadratic time）であり、一貫性があり、分布のモーメントマッチング比較への収束という理論的根拠に基づく。
• MMDが学習の目的にとどまらず、深層生成モデルにおける原則的で有意性を伴うモデル選択にも応用可能であることが実証された。