[論文レビュー] Multimodal Transitions for Generative Stochastic Networks

Sherjil Ozair, Li Yao+1 more|arXiv (Cornell University)|Dec 19, 2013

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 5

ひとこと要約

本稿では、生成的確率的ネットワーク（GSNs）におけるマルチモーダルな遷移分布を、条件付きニューラル自己回帰密度推定器（NADE）を遷移演算子の出力分布として用いることで導入する。この手法により、スパイラルやMNISTの手書き数字など、複雑なマルチモーダルなデータ分布を、ユニモーダルなGSNで一般的に生じる誤ったモードを避けることで、よりよく捉えることができる。実験により、サンプルの多様性と対数尤度推定値の両方が向上することが示された。

ABSTRACT

Generative Stochastic Networks (GSNs) have been recently introduced as an alternative to traditional probabilistic modeling: instead of parametrizing the data distribution directly, one parametrizes a transition operator for a Markov chain whose stationary distribution is an estimator of the data generating distribution. The result of training is therefore a machine that generates samples through this Markov chain. However, the previously introduced GSN consistency theorems suggest that in order to capture a wide class of distributions, the transition operator in general should be multimodal, something that has not been done before this paper. We introduce for the first time multimodal transition distributions for GSNs, in particular using models in the NADE family (Neural Autoregressive Density Estimator) as output distributions of the transition operator. A NADE model is related to an RBM (and can thus model multimodal distributions) but its likelihood (and likelihood gradient) can be computed easily. The parameters of the NADE are obtained as a learned function of the previous state of the learned Markov chain. Experiments clearly illustrate the advantage of such multimodal transition distributions over unimodal GSNs.

研究の動機と目的

• 複雑でマルチモーダルなデータ分布をモデル化するのを困難にするユニモーダルな遷移分布の限界を解決すること。
• 遷移演算子が複数のモードをモデル化できるようにすることで、GSNにおけるモード崩壊や誤ったモード生成の課題を克服すること。
• 現在の状態に依存する学習可能なパラメータを有する条件付きNADEモデルを用いて、実行可能で効率的なマルチモーダルな遷移の実装方法を提案すること。
• マルチモーダルな遷移が、合成データおよび実世界のデータにおいて、サンプルの質と多様性を向上させることを実証すること。特に、MNISTにおいて非数字に似たサンプルを回避できることを示すこと。
• マルチモーダルな遷移と、誤ったモードをさらに抑制するwalkbackトレーニング手順との間のトレードオフを調査すること。

提案手法

• 遷移演算子の出力分布として条件付きNADEを用いることで、次の状態におけるマルチモーダルな条件付き分布をモデル化可能とする。
• Markov連鎖の現在の状態を関数としてNADEのパラメータを学習させることで、文脈依存的で複雑な遷移ダイナミクスを実現する。
• NADEの明示的な尤度計算と勾配計算の利点を活かし、トレーニング中に高価なMCMCサンプリングを必要とせずにGSNを効率的に学習する。
• 従来の研究と同様に、デノイジングオートエンコーダの基準を用いてGSNをトレーニングするが、主な革新点は、遷移演算子に因子分解分布の代わりにNADEを用いることである。
• 推論および評価には標準的なMarkov連鎖サンプリングを適用し、各ステップでサンプルを収集することで、混合性と対数尤度性能を評価する。
• 合成データおよび実データの両方で、一貫した評価プロトコルを用いて、提案されたGSN-NADEモデルと標準的な要因分解GSN（walkbackトレーニングあり・なし）を比較する。

実験結果

リサーチクエスチョン

• RQ1 ユニモーダルな遷移と比較して、マルチモーダルな遷移分布を用いるGSNは、複雑でマルチモーダルなデータ分布のモデリングを改善できるか？
• RQ2 条件付きNADEを遷移演算子として用いることで、GSNにおけるサンプルの多様性と品質にどのような影響を与えるか？
• RQ3 提案されたマルチモーダルなGSNは、MNISTのような実世界のデータにおいて、対数尤度とモードカバレッジの面で、標準的な要因分解GSNを上回るか？
• RQ4 walkback手順によって誤ったモードを抑制するGSNと比較して、GSN-NADEの性能はどのようになるか？
• RQ5 NADEベースの遷移は、要因分解分布よりもサンプリングにコストがかかるため、計算上のトレードオフは何か？

主な発見

• GSN-NADEモデルは、要因分解GSNと比較して、MNISTにおいて著しく多様性があり、視覚的に現実的なサンプルを生成し、非数字に似た誤ったモードを回避している。
• 2次元スパイラルデータセットでは、GSN-NADEは真のマルチモーダルな分布を正しく捉えており、要因分解GSNは多様体を正しくモデル化できていない。
• GSN-NADEのCSL推定値は15万個の連続サンプルで-114に達し、GSN-1（-121）およびGSN-1-w（-106）を上回っており、より優れた対数尤度推定を示している。
• サンプルを毎ステップではなく100ステップごとに収集しても、GSN-NADEのCSL推定値は-114のまま変化せず、優れた混合性と強い自己相関の欠如を示している。
• マルチモーダル性の利点にもかかわらず、GSN-NADEは対数尤度においてwalkbackトレーニングを施した要因分解GSNに及ばなかった。これは、walkbackトレーニングが誤ったモードをより効果的に抑制しているためである。
• 結果から、NADEベースのマルチモーダル性とwalkbackトレーニングを組み合わせることでさらなる改善が得られると示唆されるが、NADEのサンプリングコストが高く、計算コストの問題が残っている。