[論文レビュー] Masked Autoregressive Flow for Density Estimation

George Papamakarios, Theo Pavlakou+1 more|arXiv (Cornell University)|May 19, 2017

Model Reduction and Neural Networks参考文献 36被引用数 202

ひとこと要約

MAF は密度推定のための柔軟な正規化フローを形成するためにマスクされた自己回帰モデルのスタックを導入し、いくつかのデータセットで最先端の結果を達成し RealNVP を上回る。

ABSTRACT

Autoregressive models are among the best performing neural density estimators. We describe an approach for increasing the flexibility of an autoregressive model, based on modelling the random numbers that the model uses internally when generating data. By constructing a stack of autoregressive models, each modelling the random numbers of the next model in the stack, we obtain a type of normalizing flow suitable for density estimation, which we call Masked Autoregressive Flow. This type of flow is closely related to Inverse Autoregressive Flow and is a generalization of Real NVP. Masked Autoregressive Flow achieves state-of-the-art performance in a range of general-purpose density estimation tasks.

研究の動機と目的

• 柔軟でありながら厳密な密度評価が可能なニューラル密度推定器を動機づける。
• マスキングによって自己回帰モデルを積み重ね、より深い正規化フローを提案する（MAF）。
• MAF、Inverse Autoregressive Flow (IAF)、Real NVP との理論的関係を示す。
• さまざまな密度推定タスクで MAF を Real NVP および MADE の variantes と比較評価する。
• 条件付き密度推定の拡張と実装実例を示す。

提案手法

• MADE をマスキング付きにパラメータ化したガウス条件付きで p(x) を自己回帰条件付きでモデル化する。
• 複数の自己回帰層を積み重ね、1つの層の乱数が次の層を駆動するようにする（MAF をフローとして）。
• MADE に基づくマスキングを用いた1回の前向き計算で厳密な密度を計算し、並列評価を可能にする。
• MAF を IAF および Real NVP に関連付けて、計算上のトレードオフと理論的関係を明らかにする。
• Side information を入力に加え、条件付きの MADE を積み重ねることにより条件付き MA F を導入する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰モデルをフローとして積み重ねることで、単一の自己回帰モデルを超える密度推定の改善が得られるのか。
• RQ2 密度推定とサンプリングのための MAF と IAF の計算上のトレードオフは何か。
• RQ3 標準的な密度推定ベンチマークにおいて Real NVP および MADE Varianten と比較して MAF はどうか。
• RQ4 MAF を条件付き密度推定へ効果的に拡張できるか。

主な発見

データセット	Gaussian	MADE	MADE MoG	Real NVP (5)	Real NVP (10)	MAF (5)	MAF (10)	MAF MoG (5)
POWER	-7.74 ± 0.02	-3.08 ± 0.03	0.40 ± 0.01	-0.02 ± 0.01	0.17 ± 0.01	0.14 ± 0.01	0.24 ± 0.01	0.30 ± 0.01
GAS	0.02 ± 0.00	3.56 ± 0.04	8.47 ± 0.02	4.78 ± 1.80	8.33 ± 0.14	9.07 ± 0.02	10.08 ± 0.02	9.59 ± 0.02
HEPMASS	-3.58 ± 0.02	-20.98 ± 0.02	-15.15 ± 0.02	-19.62 ± 0.02	-17.70 ± 0.02	-17.39 ± 0.02	-17.73 ± 0.02	-17.39 ± 0.02
MINIBOONE	-37.24 ± 1.07	-15.59 ± 0.50	-12.27 ± 0.47	-13.55 ± 0.49	-11.75 ± 0.44	-11.68 ± 0.44	-12.24 ± 0.45	-11.68 ± 0.44
BSDS300	96.67 ± 0.25	148.85 ± 0.28	153.71 ± 0.28	152.97 ± 0.28	153.28 ± 1.78	155.69 ± 0.28	154.93 ± 0.28	156.36 ± 0.28

• MAF は無条件密度推定で複数のデータセットにおいて Real NVP を上回る。
• MAF Varianten（MAF MoG を含む）は UCI データセットと BSDS300 の画像パッチで最先端または競争力のある結果を達成。
• MAF は x に対してはワンパス評価で強力な密度推定を提供するが、サンプリングは D 層にわたり逐次となり、IAF とは対照的。
• MAF MoG (5) は単一モデルとして BSDS300 で報告された中で最良の結果（156.36 nats）を達成。
• 条件付き MA F は MNIST および CIFAR-10 の密度推定を複数のベースラインと比較して改善し、MADE MoG がしばしば優れる。
• データセット全体（POWER、GAS、HEPMASS、MINIBOONE、BSDS300）において、MAF およびその派生は無条件設定で一般的に Real NVP を上回る。