[論文レビュー] Graphical Normalizing Flows

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|Jun 3, 2020

Bayesian Modeling and Causal Inference参考文献 44被引用数 12

ひとこと要約

本稿では、指定された構造または学習可能な構造を持つベイジアンネットワークを用いて可逆変換をモデル化する、グラフィカル正規化フローという新しい正規化フロー・アーキテクチャを提案する。カップリング・フローやオートレグレッシブ・フローをベイジアンネットワークの特別なケースとして再定式化することにより、グラフ構造を通じてドメイン知識を統合し、解釈可能性を向上させるとともに、固定順列に依存しない競争力ある密度推定性能を達成する。構造が既知またはℓ₁正則化を用いて同定可能な場合、標準的なフローよりも優れた性能を発揮する。

ABSTRACT

Normalizing flows model complex probability distributions by combining a base distribution with a series of bijective neural networks. State-of-the-art architectures rely on coupling and autoregressive transformations to lift up invertible functions from scalars to vectors. In this work, we revisit these transformations as probabilistic graphical models, showing they reduce to Bayesian networks with a pre-defined topology and a learnable density at each node. From this new perspective, we propose the graphical normalizing flow, a new invertible transformation with either a prescribed or a learnable graphical structure. This model provides a promising way to inject domain knowledge into normalizing flows while preserving both the interpretability of Bayesian networks and the representation capacity of normalizing flows. We show that graphical conditioners discover relevant graph structure when we cannot hypothesize it. In addition, we analyze the effect of $\ell_1$-penalization on the recovered structure and on the quality of the resulting density estimation. Finally, we show that graphical conditioners lead to competitive white box density estimators. Our implementation is available at https://github.com/AWehenkel/DAG-NF.

研究の動機と目的

• 標準的な正規化フローにおける解釈可能性の欠如とインダクティブバイアスの不足を、確率的グラフィカルモデルによるドメイン知識の統合によって是正すること。
• カップリング・フローとオートレグレッシブ・フローの一般化を、構造的条件付けを持つベイジアンネットワークとして提案すること。
• ベイジアンネットワークのトポロジーをℓ₁正則化付きで学習することで、意味のある条件付き独立関係の同定を可能にすること。
• 事前構造が利用可能または学習可能である場合、グラフィカル・コンディショナーが密度推定の質を向上させることを示すこと。
• グラフ構造に基づく学習可能なマスクを用いることで、正規化フローにおける固定順列に依存しないようにすること。

提案手法

• 各ノードの条件付き密度をニューラルネットワークで学習する固定トポロジーを持つベイジアンネットワークとしてカップリング・フローとオートレグレッシブ・フローを再定式化する。
• 有向無閉路グラフ（DAG）を用いて、どの変数が他の変数を条件づけるかを定義するグラフィカル・コンディショナーを提案する。アドセンシー行列は学習可能または固定可能である。
• ノードのサイクル性制約を連続的リラクゼーション（NO TEARS風の微分可能スコア）により処理し、DAG構造をエンドツーエンドで学習する。
• アドセンシー行列にℓ₁正則化を適用し、スパarsityを促進し、意味のある条件付き独立構造を同定する。
• グラフィカル・コンディショナーをスタックして正規化フローを構築し、シャッフルや学習可能な順列の代わりにグラフベースのマスキングを導入する。
• 標準的な正規化フロー・アーキテクチャにグラフィカル・コンディショナーを統合し、正確な尤度計算と可逆性を維持する。

実験結果

リサーチクエスチョン

• RQ1 カップリング・フローとオートレグレッシブ・フローは、固定トポロジーを持つベイジアンネットワークとして正式に再解釈可能か？
• RQ2 ℓ₁正則化付き最適化によるベイジアンネットワーク構造の学習は、標準的なオートレグレッシブ・フローやカップリング・フローに比べてより優れた密度推定性能をもたらすか？
• RQ3 真のトポロジーが不明な状況下でも、グラフィカル正規化フローは関連する条件付き独立構造を同定できるか？
• RQ4 密度推定タスクにおいて、グラフィカル正規化フローは標準的なブラックボックス正規化フロー・アーキテクチャと比較してどの程度の性能を示すか？
• RQ5 グラフィカル・コンディショナーは、正規化フローにおける固定順列または学習可能な順列の必要性を排除できるか？

主な発見

• グラフィカル正規化フローは、グラフ構造の事前知識がなくても、最先端のブラックボックス正規化フロー・アーキテクチャと同等の密度推定性能を達成する。
• 真のベイジアンネットワークのトポロジーが与えられた場合、グラフィカル・コンディショナーはオートレグレッシブ・フローおよびカップリング・フローを著しく上回る密度推定性能を発揮する。
• 適切なℓ₁正則化を適用した場合、モデルはデータから関連するグラフ構造を的確に同定し、真の条件付き独立関係を反映する。
• グラフベースのマスクを用いることで、固定順列や学習可能な順列に依存しなくなり、解釈可能性とモデリングの忠実度が向上する。
• グラフィカル・コンディショナーは、正規化フローのユニバーサル近似能力を維持しながら、構造的インダクティブバイアスを追加し、より良い一般化性能と解釈可能性を実現する。
• 本手法により、明示的かつ人間が読める条件付き依存関係を持つホワイトボックス密度推定が可能となり、因果推論などの後続タスクに適している。