[論文レビュー] MADE: Masked Autoencoder for Distribution Estimation

Mathieu Germain, Karol Gregor+2 more|arXiv (Cornell University)|Feb 12, 2015

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 335

ひとこと要約

MADEは、パラメータマスクを用いて自己回帰的制約を強制するマスク付き自己符号化器フレームワークを導入し、1回の順方向伝搬で効率的かつ正確な分布推定を可能にした。複数の順序付けで訓練し、GPUに最適化されたベクトル化を活用することで、MADEは、二値化されたMNISTやUCIデータセットにおいて、NADE や RBM よりも優れた性能を示し、大幅に高速にスケーリングできる。

ABSTRACT

There has been a lot of recent interest in designing neural network models to estimate a distribution from a set of examples. We introduce a simple modification for autoencoder neural networks that yields powerful generative models. Our method masks the autoencoder's parameters to respect autoregressive constraints: each input is reconstructed only from previous inputs in a given ordering. Constrained this way, the autoencoder outputs can be interpreted as a set of conditional probabilities, and their product, the full joint probability. We can also train a single network that can decompose the joint probability in multiple different orderings. Our simple framework can be applied to multiple architectures, including deep ones. Vectorized implementations, such as on GPUs, are simple and fast. Experiments demonstrate that this approach is competitive with state-of-the-art tractable distribution estimators. At test time, the method is significantly faster and scales better than other autoregressive estimators.

研究の動機と目的

• ニューラルネットワークを用いた、単純で効率的な、トレーサブルな結合分布推定手法の開発。
• 高次元設定における、既存の自己回帰モデルのスケーラビリティと計算コストの問題の解決。
• マスク付き自己符号化器のベクトル化されたGPU実装により、高速な推論と学習の実現。
• 複数の順序付けでの学習を活用して、多様なデータ分布にわたる一般化性と性能の向上の探求。
• 最先端のトレーサブルな分布推定器と比較して、競争力のある統計的性能の実証。

提案手法

• 標準的な自己符号化器の重み行列に学習可能なマスクを適用し、自己回帰的制約を強制することで、各出力が固定順序での以前の入力にのみ依存することを保証する。
• 1回の順方向伝搬ごとに1つのマスクを用いるか、学習中に複数のマスクをサンプリングすることで、モデルが異なる入力順序に一般化できるようにする。
• 出力確率が各入力次元の条件付き分布を表すように、交差エントロピー損失を用いてモデルを学習する。
• ReLU活性化関数とシグモイド出力層を実装し、マスク付き接続に重みを共有することで、計算効率を維持する。
• マスク付き隠れ層をスタックすることで、深層アーキテクチャに拡張し、すべてのレベルで自己回帰的構造を保持する。
• 適応的学習率最適化（例：AdaGrad）を用い、学習率、隠れユニット数、マスク数などのハイパーパrameterを探索する。

実験結果

リサーチクエスチョン

• RQ1 標準的な自己符号化器は、効率的でトレーサブルな結合分布推定器として改造可能か？
• RQ2 自己符号化器の重みをマスクして自己回帰的制約を強制することは、モデルの性能とスケーラビリティにどのように影響するか？
• RQ3 複数のランダムな入力順序付けで学習させることで、固定順序モデルと比較して一般化性とテスト尤度が向上するか？
• RQ4 高次元二値データにおいて、MADEはNADE や RBM と比較して性能と推論速度で優れているか？
• RQ5 尤度を最大化しつつ過剰正則化を避けるために、最適なマスク数と隠れユニット数は何か？

主な発見

• 2層のMADEで32マスクを用いたモデルは、二値化MNISTで負の対数尤度86.64を達成し、1層のNADE（88.33）を上回り、最高の既知の結果に一致した。
• 32マスクを用いた2層のMADEモデルは、テスト尤度86.64を達成し、1層バージョン（88.40）を上回り、深さが増すことでより高いロバストネスを示した。
• 1層モデルでは8マスク以上、深層モデルでは4マスク以上を用いることで、過剰正則化が生じ、負の対数尤度が上昇した。これは、最適なマスク数が存在することを示唆している。
• 32マスクで学習させると、K20 GPUで1エポックあたり100秒にまで延長されたが、500ユニットのNADEベースライン（130秒）と比較して、依然として顕著に高速であった。
• モデルは、訓練データの最近傍のサンプルとは視覚的に明確に異なる、多様で記憶されていないサンプルを生成し、単なる補間を超えた生成能力を確認した。
• 他の自己回帰的モデルと比較して、MADEは優れたスケーリング性能と推論速度を示し、標準的なニューラルネットワーク推論に比べて評価コストがO(D)倍程度に留まった。