[論文レビュー] Improving Variational Auto-Encoders using Householder Flow

Jakub M. Tomczak, Max Welling|arXiv (Cornell University)|Nov 29, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 83

ひとこと要約

本稿では、ハウスホルダー変換を用いた一連の変換を通じてフル・コホーレンス・ポストリアをモデル化することで、変分オートエンコーダー（VAEs）を向上させる体積保存型正規化フロー、Householder Flowを提案する。直交行列を基本核表現でパラメータ化し、ハウスホルダー反射を適用することで、低コストな計算で柔軟なポストリア近似を実現し、MNISTおよびヒストパスロジー画像データにおいて、ベースラインVAEや他の正規化フローを上回る尤度と低い分散を達成した。

ABSTRACT

Variational auto-encoders (VAE) are scalable and powerful generative models. However, the choice of the variational posterior determines tractability and flexibility of the VAE. Commonly, latent variables are modeled using the normal distribution with a diagonal covariance matrix. This results in computational efficiency but typically it is not flexible enough to match the true posterior distribution. One fashion of enriching the variational posterior distribution is application of normalizing flows, i.e., a series of invertible transformations to latent variables with a simple posterior. In this paper, we follow this line of thinking and propose a volume-preserving flow that uses a series of Householder transformations. We show empirically on MNIST dataset and histopathology data that the proposed flow allows to obtain more flexible variational posterior and competitive results comparing to other normalizing flows.

研究の動機と目的

• 変分ポストリアの柔軟性を、対角ガウス近似を越えて向上させること。
• 計算効率を確保するため、体積保存（ヤコビアン行列式 = 1）を維持する正規化フローを開発すること。
• ハウスホルダー反射から導かれる直交変換を用いて、フル・コホーレンス・ポストリアをモデル化すること。
• 標準の正規化フローと比較して、パラメータ数を削減しながらも、尤度性能を維持または向上させること。
• MNISTおよび現実世界の応用に適した、困難なヒストパスロジー画像データを用いた評価を通じて、実用性を検証すること。

提案手法

• 本手法は、潜在空間を回転させる直交行列をハウスホルダー変換により構築し、体積を保存することで柔軟なポストリアモデリングを可能にする。
• 直交行列の基本核表現を活用し、各直交行列を正確にK個のハウスホルダー反射の積として表現する。
• 可逆的かつ体積保存的な変換としてのフローを適用する：z^{(t)} = f^{(t)}(z^{(t-1)})、ヤコビアン行列式 |det ∂f^{(t)}/∂z^{(t-1)}| = 1 となる。
• ポストリアは q(z^{(T)}|x) = N(z^{(T)}; μ(x), Σ(x)) としてモデル化され、Σ(x) は対角共分散にハウスホルダーに基づく直交変換を適用して学習される。
• 再パラメータライゼーション・トリックと変分下界を用いた標準VAEの目的関数に従い、エンド・ツー・エンドで学習する。
• 標準VAEと比較して、T×M 個の追加パラメータしか必要とせず、NICE や NF と比較して顕著に少ない。

実験結果

リサーチクエスチョン

• RQ1 ハウスホルダー変換に基づく体積保存型正規化フローは、VAEsにおけるポストリアの柔軟性を向上させることができるか？
• RQ2 ハウスホルダー・フローは、より少ないパラメータで、標準VAEや他の正規化フローを上回る尤度を達成できるか？
• RQ3 複雑な現実世界のデータ、例えばヒストパスロジー画像において、ハウスホルダー・フローはどのように性能を発揮するか？
• RQ4 より良いポストリア近似を可能にすることで、ハウスホルダー・フローはKullback-Leibler正則化ペナルティを低減できるか？
• RQ5 ハウスホルダー・フローは計算的に効率的で、高次元潜在空間へスケーラブルか？

主な発見

• MNISTでは、T=10 の VAE+HF が、ベースラインVAEと比較して再構成誤差が低く、KLダイバージェンスも低減しており、より良いポストリア近似が得られた。
• ヒストパスロジー画像データでは、T=20 の VAE+HF が、周辺尤度においてわずかな改善を示し、テストセットで 1398.27 ± 8.11 nats を達成した。
• VAE+HFモデルは繰り返し実験における性能の分散が低く、T=1, 10, 20 のそれぞれで標準偏差が 22.09, 15.15, 8.11 nats であった。
• ハウスホルダー・フローは T×M 個の追加パラメータしか必要とせず、VAE+NICE の (M(M-1)/2) や VAE+NF の O(T×M) と比較して顕著に少ない。
• 計算コストを低減しつつも、競争力のある結果を達成しており、体積保存型フローが柔軟かつ効率的であることを示した。
• 尤度の向上とKLペナルティの低減は、ハウスホルダー・フローが真の共分散の固有値をよりよくモデル化できることを示唆しており、より良いポストリア適合が可能になったと考えられる。