[論文レビュー] Conditional Generative Moment-Matching Networks

Yong Ren, Jun Zhu+2 more|arXiv (Cornell University)|Jan 1, 2016

Topic Modeling被引用数 12

ひとこと要約

本稿では、勾配逆伝播と確率的勾配降下法による最適化により、条件付き最大平均差分（CMMD）基準を用いて条件付き分布を学習する、深層生成モデルである条件付き生成的モーメントマッチングネットワーク（CGMMN）を提案する。CGMMNは、条件付きモーメント分布の正確なマッチングにより、予測モデリング、文脈的生成、ベイジアン蒸留において競争力ある性能を達成する。

ABSTRACT

Maximum mean discrepancy (MMD) has been successfully applied to learn deep generative models for characterizing a joint distribution of variables via kernel mean embedding. In this paper, we present conditional generative moment-matching networks (CGMMN), which learn a conditional distribution given some input variables based on a conditional maximum mean discrepancy (CMMD) criterion. The learning is performed by stochastic gradient descent with the gradient calculated by back-propagation. We evaluate CGMMN on a wide range of tasks, including predictive modeling, contextual generation, and Bayesian dark knowledge, which distills knowledge from a Bayesian model by learning a relatively small CGMMN student network. Our results demonstrate competitive performance in all the tasks.

研究の動機と目的

• 入力変数が与えられたもとでの条件付き分布を学習する深層生成モデルの開発。
• 最大平均差分（MMD）を条件付き設定に拡張し、条件付きMMD（CMMD）を用いて分布マッチングを改善すること。
• 勾配逆伝播を用いた確率的勾配降下法による、条件付き生成モデルのエンドツーエンド学習の実現。
• 予測モデリング、文脈的生成、ベイジアンモデルからの知識蒸留を含む多様なタスクにおけるモデルの評価。
• CGMMNが、複雑なベイジアンモデルからコンパクトな学生ネットワークへ知識を効果的に蒸留できることの実証。

提案手法

• 条件付き分布の学習を、真の条件付き分布と生成された条件付き分布の間の条件付き最大平均差分（CMMD）を最小化する問題として定式化する。
• 再生核ヒルバート空間（RKHS）におけるカーネル平均埋め込みを用いて、条件付き分布を表現する。
• 生成ネットワークを介して勾配を逆伝播することで、確率的勾配降下法を用いてCMMD損失を最適化する。
• 入力変数から出力サンプルへマッピングする深層ニューラルネットワークを生成器として用いる。
• 複数のカーネル関数を用いた条件付きモーメント分布の一致を保証する学習目的関数を採用する。
• 入力変数を条件として生成器を条件づけることで、無条件および条件付き両方の生成を可能にするフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 CMMDは、深層生成モデルにおける条件付き分布をモデル化するために効果的に拡張可能か？
• RQ2 CGMMNは、既存の手法と比較して、条件付き分布の学習においてどの程度の性能を示すか？
• RQ3 CGMMNは、大規模なベイジアンモデルから小さな学生ネットワークへ知識を蒸留するために使用可能か？
• RQ4 CGMMNは、予測モデリングおよび文脈的生成タスクにおいて競争力のある性能を達成できるか？
• RQ5 CGMMNは、分布シフトや複雑な条件付き依存関係に対してどの程度のロバストネスを示すか？

主な発見

• CGMMNは、データから条件付き分布を正確に学習することで、予測モデリングタスクにおいて競争力ある性能を達成する。
• モデルは、入力変数に条件づけられた多様で現実的なサンプルを生成する強力な能力を示す。
• CGMMNは、ベイジアンダークナレッジ蒸留を成功裏に実行し、ベイジアンモデルからコンパクトな学生ネットワークへ知識を転送する。
• CMMDの使用により、条件付きモーメント分布の効果的なマッチングが可能となり、安定的かつ効率的な学習が実現される。
• 実験的結果から、CGMMNは、複雑な条件付き構造を有するタスクを含め、多様なタスクにおいて良好な一般化性能を示す。
• 明示的な尤度計算や複雑な推論スキームを必要とせず、最先端または競争力のある結果を達成する。