[論文レビュー] Autoregressive Energy Machines

Charlie Nash, Conor Durkan|arXiv (Cornell University)|Apr 11, 2019

Advanced Memory and Neural Computing被引用数 19

ひとこと要約

本稿では、自己回帰的分解を用いて未規格化エネルギー関数を学習するとともに、重要度サンプリングを用いて正規化定数を同時に推定するニューラル密度推定器、Autoregressive Energy Machine (AEM) を提案する。低次元の条件付き分布におけるスケーラブルな正規化定数推定と柔軟なエネルギーベースモデリングを組み合わせることで、密度推定ベンチマークで最先端の性能を達成する。

ABSTRACT

Neural density estimators are flexible families of parametric models which have seen widespread use in unsupervised machine learning in recent years. Maximum-likelihood training typically dictates that these models be constrained to specify an explicit density. However, this limitation can be overcome by instead using a neural network to specify an energy function, or unnormalized density, which can subsequently be normalized to obtain a valid distribution. The challenge with this approach lies in accurately estimating the normalizing constant of the high-dimensional energy function. We propose the Autoregressive Energy Machine, an energy-based model which simultaneously learns an unnormalized density and computes an importance-sampling estimate of the normalizing constant for each conditional in an autoregressive decomposition. The Autoregressive Energy Machine achieves state-of-the-art performance on a suite of density-estimation tasks.

研究の動機と目的

• 鋭い遷移や多モーダル分布を捉えることに困難を伴う明示的密度モデルの限界を克服すること。
• 高次元エネルギーベースモデルにおける計算不能な正規化定数の推定という課題に対処すること。
• 未規格化密度をモデル化するためのニューラルネットワークを用いた柔軟で高容量の密度推定を可能にすること。
• 自己回帰的構造を活用して正規化定数推定を改善するスケーラブルなトレーニング手法を開発すること。
• 標準的な密度推定ベンチマークで最先端の対数尤度性能を達成すること。

提案手法

• AEMは、各変数について順番に提案パラメータとコンテキストベクトルを計算するための自己回帰的ニューラルネットワークを用いる。
• 各条件付き分布に対して、入力とコンテキストベクトルに基づいて未規格化対数尤度を計算する別個のエネルギーネットワークを用いる。
• 自己回帰的ネットワークによってパrameter化された提案分布から20サンプルを用いて、各条件付き分布の正規化定数の重要度サンプリング推定値を計算する。
• 全対数尤度は、エネルギー項の和から正規化定数の重要度サンプリング推定値の対数を引いたものとして近似される。
• 確率的勾配降下法を用いて、エンドツーエンドで最大尤度に基づいてモデルをトレーニングする。
• 高次元問題を低次元の条件付き分布に分解することにより、正確な密度評価と効率的なトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 未規格化密度を有するエネルギーベースモデルは、複雑なデータ分布において明示的密度推定器を上回る性能を達成できるか？
• RQ2 自己回帰的分解は、高次元エネルギーモデルにおける正規化定数の正確かつスケーラブルな推定を可能にするか？
• RQ3 提案分布とエネルギー関数の共同学習は、正規化定数推定と密度モデリングを改善するか？
• RQ4 AEMは、標準的な密度推定ベンチマークで既存の最先端モデルを上回る性能を示せるか？
• RQ5 AEMは、フローベースや自己回帰モデルと比較して、鋭い遷移や高周波成分を有する分布をどのように処理するか？

主な発見

• AEMは、密度推定タスクのスイートにおいて最先端の性能を達成し、ベンチマークデータセットで既存のモデルを上回る。
• 画像における光の分布のような鋭い遷移を有するデータにおいても、細部を的確に保持することができ、明示的条件付き分布を用いるモデルを上回る。
• 動的バイナリ化MNISTでは、AEM-VAEが標準的なガウス事前分布を著しく上回り、競争力のある結果を達成する。
• 正規化定数の重要度サンプリング推定値は次元が増加するにつれて劣化するが、自己回帰的分解により低次元の条件付き分布で正規化定数を推定することで、この問題が緩和される。
• VAE設定においては、提案分布スコアに改善が見られないが、これは集約事後分布が混合ガウス分布でうまくモデル化されているためと推定される。
• 本手法により、従来の自己回帰的およびフローベースモデルが困難とされる低密度領域や不連続密度の柔軟なモデリングが可能になる。