[論文レビュー] Variational Inference with Continuously-Indexed Normalizing Flows

Anthony L. Caterini, Rob Cornish+2 more|arXiv (Cornell University)|Jul 10, 2020

Gaussian Processes and Bayesian Inference参考文献 38被引用数 5

ひとこと要約

この論文は、補助変分推論（AVI）フレームワークに統合することで、連続的にインデックス付けされたフロー（CIFs）を、非常に表現力が高く、変分推論（VI）の事後分布近似として導入する。CIFsの取り扱いやすい連携分布と条件付き独立構造を活用することで、モデルの証拠の低分散推定が可能となり、複雑な事後分布のトポロジーと最尤推定タスクにおいて、標準的なノーマライジングフローを上回る優れた性能を達成する。

ABSTRACT

Continuously-indexed flows (CIFs) have recently achieved improvements over baseline normalizing flows on a variety of density estimation tasks. CIFs do not possess a closed-form marginal density, and so, unlike standard flows, cannot be plugged in directly to a variational inference (VI) scheme in order to produce a more expressive family of approximate posteriors. However, we show here how CIFs can be used as part of an auxiliary VI scheme to formulate and train expressive posterior approximations in a natural way. We exploit the conditional independence structure of multi-layer CIFs to build the required auxiliary inference models, which we show empirically yield low-variance estimators of the model evidence. We then demonstrate the advantages of CIFs over baseline flows in VI problems when the posterior distribution of interest possesses a complicated topology, obtaining improved results in both the Bayesian inference and surrogate maximum likelihood settings.

研究の動機と目的

• 標準的なノーマライジングフローが、その双射制約のため、複雑な事後分布のトポロジーをモデル化する能力に制限を受けることに対処すること。
• 閉形式の周辺密度を持たない連続的にインデックス付けされたフロー（CIFs）を、補助変分推論（AVI）フレームワークに統合することで、変分推論における使用を可能にすること。
• CIFsが、ベイズ推論およびサーヴェイ最大尤度設定の両方において、ベースラインのフローと比較してより表現力が高く、正確な事後分布近似を提供できることを示すこと。
• CIFsが、取り扱いやすい連携分布とアンモタイズド推論構造のおかげで、モデルの証拠の低分散推定を維持できることを示すこと。

提案手法

• CIFsを補助変分推論（AVI）方式における変分事後分布として用い、潜在変数と補助インデックス変数の間の連携分布が取り扱いやすいようにする。
• 多層CIFsの条件付き独立構造を活用し、インデックス変数のための効率的な補助推論モデルを構築する。
• 潜在空間とデータから補助変数を推論するための条件付きニューラルネットワーク $q_{U_{ ext{loc}}|W_{ ext{loc}}}$ と $r_{U_{ ext{loc}}|W_{ ext{loc}},X}$ を訓練することで、アンモタイズド推論を適用する。
• 画像データを潜在空間に投影するために、小さなVAEエンコーダをベース分布 $q_{W_0|X}$ として用いることで、大規模なエンコーダへの依存を軽減する。
• 各フローレイヤーで、1つのニューラルネットワークがフローテランスフォーム $G_{ ext{loc}}$ の結合変換 $s_{ ext{loc}}$ と $t_{ ext{loc}}$ をパラメータ化し、パラメータ効率を確保する。
• 勾配クリッピング（最大ノルム5）を適用することで、訓練の安定性を確保しながら、重要度サンプリングを用いたサーヴェイ目的関数によりELBOを最適化する。

実験結果

リサーチクエスチョン

• RQ1 閉形式の周辺密度を持たない連続的にインデックス付けされたフロー（CIFs）は、周辺分布の非可逆性にもかかわらず、変分推論において効果的に使用可能か？
• RQ2 CIFsを補助変分推論（AVI）フレームワークに統合することで、標準的なノーマライジングフローと比較して、モデルの証拠の推定が低分散化されるか？
• RQ3 CIFベースの事後分布近似は、非自明なトポロジーを持つ複雑な事後分布をモデル化する際、ベースラインのノーマライジングフローを上回るか？
• RQ4 CIFsは、標準的なフローベースラインと比較して、潜在変数モデルのサーヴェイ最大尤度推定において性能を向上させられるか？

主な発見

• CIFモデルは、テストセットにおける推定平均周辺尤度の観点で、対応するベースラインのノーマライジングフローを常に上回り、CIF-MAFとCIF-NSFはそれぞれSmall MAFとSmall NSFを顕著に上回る。
• CIFモデルは、すべての実験で平均性能が最良、または誤差範囲内で最良の性能を達成し、ベイズ推論および最尤推定の両方において優位性を示している。
• IWAE手法よりもパラメータ効率が高く、かつ少ない訓練エポック数でIWAEを上回る性能を達成しているため、CIFモデルは高いサンプル効率を示している。
• AVIをCIFと組み合わせることで、モデルの証拠の低分散推定が可能となり、フレームワークの理論的利点が裏付けられた。
• パラメータ数がやや多いベースラインのフローと同等のパラメータ数を持つアンモタイズドCIFバージョンでさえ、それらを上回る性能を示しており、CIFsが複雑な事後分布に対して強いインダクティブバイアスを提供していることが示された。
• 勾配クリッピング（最大ノルム5）を用いることで、訓練の安定性が維持されたため、異なるアーキテクチャにおいても実用的であることが確認された。