[論文レビュー] Sylvester Normalizing Flows for Variational Inference

Rianne van den Berg, Leonard Hasenclever+2 more|arXiv (Cornell University)|Mar 15, 2018

Generative Adversarial Networks and Image Synthesis被引用数 39

ひとこと要約

この論文は、直交行列または三角行列を用いた変換行列により、1ユニットのボトルネックを解消する、平面流れの一般化であるSylvester正規化流れ（SNF）を導入する。これにより、より柔軟で表現力のある変分事後分布が可能になる。SNFは、ハイパーネットを用いたデータ依存の流れパラメータを採用することで、平面流れや逆自己回帰的流れ（IAF）を上回る、複数のデータセットにおける最先端の性能を達成する。

ABSTRACT

Variational inference relies on flexible approximate posterior distributions. Normalizing flows provide a general recipe to construct flexible variational posteriors. We introduce Sylvester normalizing flows, which can be seen as a generalization of planar flows. Sylvester normalizing flows remove the well-known single-unit bottleneck from planar flows, making a single transformation much more flexible. We compare the performance of Sylvester normalizing flows against planar flows and inverse autoregressive flows and demonstrate that they compare favorably on several datasets.

研究の動機と目的

• 平面流れの制限、特に表現力の制限要因となる1ユニットボトルネックを解消すること。
• トレーサブルなヤコビアン行列式を維持しつつ、より柔軟で効率的な正規化流れの族を構築すること。
• ハイパーネットを用いたデータ依存の流れパラメータが、文脈依存のIAFと比較して性能向上をもたらすかを検証すること。
• ベンチマークデータセット上で、直交、ハウスホルダー、三角行列の3つのバリアントであるSylvester流れの性能を比較すること。
• SNFがELBOおよび対数尤度の観点で、既存の正規化流れベースラインを上回ることを示すこと。

提案手法

• Sylvester正規化流れは、$ z = f_{\theta}(y) = y + A h(B y + b) $ の形の変換を用いることで、平面流れを一般化する。ここで $ A $ と $ B $ は学習可能な行列である。
• 変換のヤコビアン行列式を効率的に計算するために、Sylvesterの行列式恒等式を採用する。
• 逆行列性は、$ A $ と $ B $ を直交行列または三角行列に制約することで保証され、直交行列はハウスホルダー反射または反復的直交化法により構築される。
• 3つのバリエーションを提案する：直交SNF（O-SNF）、ハウスホルダーSNF（H-SNF）、三角SNF（T-SNF）、それぞれ異なるパラメータ化戦略を採用する。
• 流れパラメータはハイパーネットを介してデータ依存にされ、入力 $ \mathbf{x} $ に応じて変換が適応可能になる。これは、IAFが固定された文脈ベクトルを用いるのとは対照的である。
• アンモアタイズド推論が適用され、エンコーダー・ネットワークが入力データに応じて流れパラメータを出力することで、効率的な事後分布近似が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1ユニットボトルネックを解消する平面流れの一般化が、変分推論における事後分布近似を改善できるか？
• RQ2 標準ベンチマークデータセット上で、Sylvester正規化流れは平面流れや逆自己回帰的流れ（IAF）と比較してどの程度の性能を示すか？
• RQ3 ハイパーネットを用いたデータ依存の流れパラメータは、文脈依存のIAFと比較して性能向上をもたらすか？
• RQ4 異なる行列パラメータ化（直交、ハウスホルダー、三角）が、流れの表現力および学習安定性に与える影響は何か？
• RQ5 Sylvester流れは、既存の正規化流れベースラインを上回るELBOおよび対数尤度値を達成できるか？

主な発見

• Sylvester正規化流れは、MNIST、Freyfaces、Omniglot、Caltech 101シルエットの各データセットで、平面流れおよび逆自己回帰的流れ（IAF）を上回る性能を示し、すべてのSNFバリエーションが優れたELBOおよび負の対数尤度スコアを達成した。
• MNISTでは、$ M=32 $ のO-SNFと、$ H=8 $ のハウスホルダー反射を用いたH-SNFが最良の性能を示し、負の対数尤度が $ 98.85 \pm 0.20 $ にまで低下した。これは、IAF(1280)の $ 99.74 \pm 0.28 $ より顕著に優れていた。
• 三角Sylvester流れ（T-SNF）は、平均のみのIAFに類似しているが、データ依存の流れパラメータのおかげでIAFを上回った。これは、入力 $ \mathbf{x} $ に依存するパラメータ化が表現力の向上に寄与することを示している。
• Caltech 101シルエットにおけるIAFの性能は悪く、1280ユニットのMADEバージョンでも負の対数尤度がわずか $ 99.74 \pm 0.28 $ にとどまり、高パラメータ数による過学習または学習の困難さが示唆された。
• OmniglotおよびCaltech 101において、ハウスホルダーおよび三角SNFが直交SNFを上回った。これは、後者の大きなボトルネック（$ M=32 $）が高次元空間での表現力の制限要因となっている可能性を示している。
• Freyfacesでは、平面流れがわずかにSNFを上回ったが、これは小規模データセットにおける過学習リスクの低さによるものと考えられる。しかしSNFも依然として高い性能を示しており、さまざまなデータ環境にわたる頑健性が裏付けられた。