[論文レビュー] Convolutional Normalizing Flows

Guo‐qing Zheng, Yiming Yang+1 more|arXiv (Cornell University)|Nov 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 11

ひとこと要約

本稿では、1次元畳み込み層を用いて単純な事前分布を効率的に複雑な事後分布に変形する正規化フロー・アーキテクチャであるConvFlowを提案する。これにより、線形時間のヤコビアン行列式計算が可能となり、容易な密度推定が実現される。この手法は、変分推論および生成モデルの分野でMNISTおよびOMNIGLOTにおいて最先端の結果を達成し、既存のフロー（IAF や Real NVP）を上回っている。

ABSTRACT

Bayesian posterior inference is prevalent in various machine learning problems. Variational inference provides one way to approximate the posterior distribution, however its expressive power is limited and so is the accuracy of resulting approximation. Recently, there has a trend of using neural networks to approximate the variational posterior distribution due to the flexibility of neural network architecture. One way to construct flexible variational distribution is to warp a simple density into a complex by normalizing flows, where the resulting density can be analytically evaluated. However, there is a trade-off between the flexibility of normalizing flow and computation cost for efficient transformation. In this paper, we propose a simple yet effective architecture of normalizing flows, ConvFlow, based on convolution over the dimensions of random input vector. Experiments on synthetic and real world posterior inference problems demonstrate the effectiveness and efficiency of the proposed method.

研究の動機と目的

• 正規化フローにおける表現力と計算効率のトレードオフを解決すること。
• 高次元分布においても高速なヤコビアン行列式計算を維持できる、柔軟性と効率性を兼ね備えた正規化フロー・アーキテクチャの開発。
• 計算コストを増加させることなく、潜在変数における長距離依存関係のモデリングを可能にすること。
• 標準的な正規化フローの代わりに畳み込み型アプローチを用いることで、変分オートエンコーダーにおける事後分布近似の精度を向上させること。
• ConvFlowの有効性を、合成的および実世界の事後分布推論タスクの両方で示すこと。

提案手法

• 入力ベクトルの次元に1次元畳み込み層を適用することで、効率的な可逆変換を実現する正規化フロー・アーキテクチャを提案する。
• 拡大畳み込み（dilated convolutions）を用いて、入力次元間の長距離相互作用をモデル化しつつ、ヤコビアン行列式の線形時間計算を維持する。
• 可逆な残差ブロック構造（Revert Layer）を採用することで、可逆性を保証するとともに、すべての次元における特徴変換を最大化する。
• 変換された変数の対数尤度を、変数変換の公式を用いて計算する。この際、ヤコビアンの行列式は畳み込み構造のおかげで効率的に算出される。
• 変分オートエンコーダー（VAE）および重要度重み付きオートエンコーダー（IWAE）にこのフローを統合し、事後分布近似および密度推定を実現する。
• 畳み込みのインダクティブバイアスを活用することで、画像など構造的データのモデリングを向上させ、分離性と生成品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 畳み込みに基づく正規化フロー・アーキテクチャは、計算効率を維持したまま、既存の正規化フローを上回る事後分布近似を達成できるか？
• RQ2 正規化フローに拡大畳み込みを適用することで、計算コストを増加させることなく、潜在変数における長距離依存関係のモデリングが向上するか？
• RQ3 画像データセットにおいて、ConvFlowはIAF や Real NVP と比較して、対数尤度および生成品質の点で優れているか？
• RQ4 ConvFlowは、変分オートエンコーダーにおける潜在コードの分離性およびクラスタリングを向上させることができるか？
• RQ5 VAEおよびIWAEフレームワークにConvFlowを統合することで、MNIST や OMNIGLOT といった実世界のデータセットにおける密度推定性能が向上するか？

主な発見

• MNISTでは、K=8の条件下でテストセットの負の対数尤度が83.89に達し、VAE+IAF（86.62）およびVAE+Real NVP（87.98）を上回った。
• OMNIGLOTでは、K=8の条件下で負の対数尤度が103.49に達し、VAE+IAF（105.00）およびVAE+Real NVP（106.05）を顕著に上回った。
• 潜在コードの可視化結果から、VAE+ConvFlowは、VAEやVAE+IAFと比較して、各数字クラスごとに明確で分離性の高いクラスタを生成しており、より優れた分離性を示している。
• ConvFlowから生成されたサンプルは、MNISTおよびOMNIGLOTの両方で、実際の訓練データと視覚的に一貫しており、優れた生成品質を示している。
• 拡大畳み込みの使用により、潜在変数における長距離依存関係の効果的なモデリングが可能となり、OMNIGLOTのような複雑なデータセットにおいても性能向上が確認された。
• ConvFlowは、最小限のパrameterオーヘッドで多次元密度の変形を可能にするという点で、密度推定タスクにおいて最先端の性能を達成しており、その有効性が裏付けられた。