[論文レビュー] Sum-of-Squares Polynomial Flow

Priyank Jaini, Kira A. Selby+1 more|arXiv (Cornell University)|May 7, 2019

Metabolomics and Mass Spectrometry Studies被引用数 39

ひとこと要約

この論文は Sum-of-Squares (SOS) flows を導入します。これは、学習可能なコンディショナーにより増加する一変数多項式を用いた、 autoregressive flows や normalizing flows を一般化する普遍的で解釈可能な三角マップベースの密度推定器です。

ABSTRACT

Triangular map is a recent construct in probability theory that allows one to transform any source probability density function to any target density function. Based on triangular maps, we propose a general framework for high-dimensional density estimation, by specifying one-dimensional transformations (equivalently conditional densities) and appropriate conditioner networks. This framework (a) reveals the commonalities and differences of existing autoregressive and flow based methods, (b) allows a unified understanding of the limitations and representation power of these recent approaches and, (c) motivates us to uncover a new Sum-of-Squares (SOS) flow that is interpretable, universal, and easy to train. We perform several synthetic experiments on various density geometries to demonstrate the benefits (and short-comings) of such transformations. SOS flows achieve competitive results in simulations and several real-world datasets.

研究の動機と目的

• 密度推定を増加する三角マップを用いて厳密に体系化する枠組みを定式化する。
• この枠組みの中で autoregressive モデルと normalizing flows を統合・比較する。
• 普遍的で解釈可能な密度推定器として Sum-of-Squares (SOS) flow を提案・分析する。
• SOS flows が IAF を一般化する方法を示し、既存のフローベース手法との関連を示す。
• 合成データと実世界データの実験を通じて SOS flows の有効性を示す。

提案手法

• 三角マップを、係数をコンディショナー網路で生成する1次元の増加多項式でパラメータ化する： T_j(z_1,...,z_j)=P_{2r+1}(z_j; a_j) ただし a_j=C_j(z_1,...,z_{j-1})。
• 単調性を確保するため、P_{2r+1} を和の平方の多項式の積分として表現する： P_{2r+1}(z; a)=c+∫_0^z ∑_{κ=1}^k (∑_{l=0}^r a_{l,κ} u^l)^2 du。
• 普遍性を証明する：増加多項式は増加連続関数の空間で致密であり、r が大きくなるかブロックを積み重ねることで任意の増加三角マップを近似できる。
• SOS flows は IAF (r=0) を厳密に一般化し、より高次モーメントを制御する解釈可能なパラメータを提供する。
• 複数の SOS ブロックを積み重ねて深さと幅をトレードオフし、近似能力を向上させる。
• 既存の自動回帰法およびフロー系手法と比較し、合成データセットおよび実データセットで競争力のある性能を示す。

実験結果

リサーチクエスチョン

• RQ1 三角マップは高次元密度推定のための完全で扱いやすい枠組みを提供するか？
• RQ2 SOS flows は解釈可能で学習可能なまま、任意の標的密度に対する普遍的近似力を提供できるか？
• RQ3 SOS flows は既存の自動回帰法と正規化フロー手法とどのように関連し、一般化するか？
• RQ4 実世界データに SOS flows を実装する際の深さと幅の実践的トレードオフは？
• RQ5 SOS flows は標準的なベンチマークで最先端の密度推定器と比較して競争力があるか？

主な発見

手法	Power	Gas	Hepmass	MiniBoone	BSDS300
MADE	0.40 \u0000b1 0.01	8.47 \u0000b1 0.02	-15.15 \u0000b1 0.02	-12.24 \u0000b1 0.47	153.71 \u0000b1 0.28
MAF affine (5)	0.14 \u0000b1 0.01	9.07 \u0000b1 0.02	-17.70 \u0000b1 0.02	-11.75 \u0000b1 0.44	155.69 \u0000b1 0.28

• SOS flows は普遍的である：十分なモデル複雑性を持てば任意の標的密度を近似できる。
• SOS flows は inverse autoregressive flow (IAF) を厳密に一般化し、三角マップ枠組みの中で既存の自動回帰およびフローベースモデルを包含する。
• 多項式ベースの条件付き密度は単変数多項式によって計算可能であり、密度評価と反転を効率的に実行できる。
• 多項式の係数は標的密度の高次モーメンツを直接制御し、解釈性を高める。
• SOS ブロックの積み重ねはモデル容量と学習効率のバランスを取り、深い構成と広い構成で異なるトレードオフを提供する。
• 合成データセットおよび実データセットでの経験的結果は、SOS flows がいくつかのベースライン手法と比較して対数尤度で競争力があることを示す。