[論文レビュー] You say Normalizing Flows I see Bayesian Networks

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|Jun 1, 2020

Gaussian Processes and Bayesian Inference参考文献 4被引用数 4

ひとこと要約

この論文は正規化フローをベイジアンネットワークとして再解釈し、結合型および自己回帰型フローが学習可能なノード密度を持つ特定のBNトポロジに対応することを明らかにした。3層を超えるアフィン変換層を積み重ねると根本的な容量の飛躍が生じるが、構造的制約により、アフィン正規化フローは深さにかかわらず非ユニバーサルな密度近似器のままであることが示された。非正規成分のモデリングに制限があるためである。

ABSTRACT

Normalizing flows have emerged as an important family of deep neural networks for modelling complex probability distributions. In this note, we revisit their coupling and autoregressive transformation layers as probabilistic graphical models and show that they reduce to Bayesian networks with a pre-defined topology and a learnable density at each node. From this new perspective, we provide three results. First, we show that stacking multiple transformations in a normalizing flow relaxes independence assumptions and entangles the model distribution. Second, we show that a fundamental leap of capacity emerges when the depth of affine flows exceeds 3 transformation layers. Third, we prove the non-universality of the affine normalizing flow, regardless of its depth.

研究の動機と目的

• 正規化フローを確率的グラフィカルモデル、特にベイジアンネットワークの観点から再解釈すること。
• 変換層を積み重ねることで、正規化フローにおける独立性仮定とモデル容量にどのように影響するかを分析すること。
• アフィン正規化フローが任意の確率分布を普遍的に近似可能かどうかを調査すること。
• 正規化フローのアーキテクチャにおける構造的制限と容量ダイナミクスに関する理論的洞察を提供すること。

提案手法

• 結合型および自己回帰型正規化フロー層を、固定トポロジと各ノードにおける学習可能な条件付き密度を持つベイジアンネットワークに再定式化する。
• 変数変換の公式を用いて、変換された変数の同時密度をベース分布とヤコビアン行列式の積として表現する。
• d-分離とI-マップ理論を用いて、同等のベイジアンネットワーク表現における条件付きインディ펜デンシーを分析する。
• 単層およびマルチステップのフローに対して同等のベイジアンネットワークを構築し、各層でどのように依存関係が導入されるかを示す。
• 反例を用いた議論により非ユニバーシティを証明し、非正規周辺分布をモデリングできないことを示す。これは、非線形変換が可能でない限られた潜在的先祖構造を持つ場合に成立する。
• 双方向変換の構造的制約を分析し、BNから無向エッジを削除すると双方向性が破られるのを証明する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローのアーキテクチャを、ベイジアンネットワーク構造に正式にマッピングすることは可能か？
• RQ2 より多くのフローサイズを積み重ねると、条件付きインディペンデンシー仮定はどのように変化するか？
• RQ3 正規化フローの容量が著しく向上する臨界的な深さが存在するか？
• RQ4 アフィン正規化フローは、深さにかかわらず、任意の確率分布を普遍的に近似可能か？
• RQ5 アフィン正規化フローが普遍近似を達成できない構造的制限は何か？

主な発見

• 複数の正規化フローサイズを積み重ねることで、独立性仮定が緩和され、新たな条件付き依存関係が導入されることで、モデルの同時分布が複雑化する。
• アフィン正規化フローの深さが3層を超えると、根本的な容量の飛躍が生じ、モデリング能力に質的変化が生じることが示された。
• アフィン正規化フローは、無限の深さであっても、非正規周辺分布をモデリングする構造的制約があるため、非ユニバーサルな密度近似器のままである。
• データベクトルの成分が周辺的に非正規である場合、同等のベイジアンネットワークは、非線形変換が可能な潜在的先祖構造がなければそれを表現できない。これは双方向性の制約によって制限される。
• モデルの容量は、ある成分が唯一の潜在的先祖しか持たない場合、その成分がその先祖の線形関数でなければならないという制約により制限される。
• 正規化フローとベイジアンネットワークの同等性は、条件子の容量が十分に確保されていれば、追加のフローサイズが特定の点を超えては容量向上に寄与しないことを示しており、2次元のトイ問題における実験的観察と一致する。