[論文レビュー] Conditional Density Estimation with Bayesian Normalising Flows

Brian L. Trippe, Richard E. Turner|arXiv (Cornell University)|Feb 14, 2018

Bayesian Methods and Mixture Models参考文献 17被引用数 41

ひとこと要約

この論文はベイズニューラルネットワークを用いて正規化フローをパラメータ化し、条件付き密度推定のための柔軟で扱いやすいモデリングを可能にし、複雑でヘテロスケダス条件付き分布を扱える大規模な空間データセットへの適用を拡張します。

ABSTRACT

Modeling complex conditional distributions is critical in a variety of settings. Despite a long tradition of research into conditional density estimation, current methods employ either simple parametric forms or are difficult to learn in practice. This paper employs normalising flows as a flexible likelihood model and presents an efficient method for fitting them to complex densities. These estimators must trade-off between modeling distributional complexity, functional complexity and heteroscedasticity without overfitting. We recognize these trade-offs as modeling decisions and develop a Bayesian framework for placing priors over these conditional density estimators using variational Bayesian neural networks. We evaluate this method on several small benchmark regression datasets, on some of which it obtains state of the art performance. Finally, we apply the method to two spatial density modeling tasks with over 1 million datapoints using the New York City yellow taxi dataset and the Chicago crime dataset.

研究の動機と目的

• 柔軟で扱いやすい条件付き密度推定（CDE）を従来の単純なパラメトリック形だけではなく推進する必要性を動機づける。
• CDEのための柔軟な尤度モデルとして正規化フローを導入する。
• Bayesian neural networks を介して条件付き密度に対する事前分布を持つベイズ的枠組みを開発する。
• これらのモデルを適合させる効率的な変分推論手法を提供する。
• 大規模な空間データセットへのスケーラビリティを実証し、ベンチマークで最先端の性能を示す証拠を提供する。

提案手法

• 条件付き尤度 p(y|x) として正規化フローを用い、そのパラメータをニューラルネットワーク h_theta(x) によって生成する。
• 正規化フローを反転させ、ログ同密度を log-determinants の和として計算することで、CDE の効率的な厳密密度評価を可能にする（z0 = f1(f2(...(y)))）。
• 3パラメータ形の放射状フロー f(z)=z+ (alpha beta (z-gamma)) / (alpha+|z-gamma|) を用いてパラメータ化し、alpha および beta に対するソフトプラス変換を用いて単調性を保証する。
• ベイズニューラルネットワークを用いて neural network の重みの事前分布を置き、 p(y|x) 及びそのヘテロスケダシティの変化に対する事前分布を誘導する。
• theta の事後分布を近似するために変分推論（平均場ガウス分布、固定分散、局所再パラメータ化）を実施する。
• 次元多変量のターゲットへ拡張するために自己回帰/オート回帰構造を採用し、2D 密度推定（p(y1|x) p(y2|y1,x)）を可能にする。

実験結果

リサーチクエスチョン

• RQ1 正規化フローは条件付き密度推定のための厳密で柔軟な尤度モデルとして機能できるか？
• RQ2 条件付き分布に対する事前分布をどのように表現・学習して分布の複雑さとヘテロスケダシティのバランスを取るべきか？
• RQ3 ニューラルネットワークのパラメータに対するベイズ推論は、既存のアプローチと比べて頑健で過学習を抑えたCDEモデルを生み出すか？
• RQ4 ベイズ正規化フローは大規模な実世界の空間データセットにどれだけスケーリングし、非ガウス的でヘテロスケダシティを含む密度を捉えられるか？
• RQ5 自己回帰拡張は多次元条件付き密度のモデリングを改善するか？

主な発見

• ベイズ正規化フローは、いくつかの小規模な UCI 回帰ベンチマークで最先端または競争力のあるテスト対数尤度を達成している。
• NF-5（5段階のフロー）は評価された NF 変体の中で最も強い性能を提供し、いくつかのデータセットで MF および HMC のベースラインを上回ることが多い。
• このアプローチはヘテロスケダシティを伴う非ガウス的予測分布を捉え、密度推定タスクでいくつかのベースラインを上回る。
• 自己回帰拡張により 2D 条件付き密度推定が可能となり、空間タスクで実証された。
• NYC タクシーデータとシカゴの犯罪データにおいて、100万点を超えるデータポイントへスケールし、空間に関する解釈可能な条件付き密度を生成する。
• MDN および LV のベースラインは、特定のタスク（例: ワイン品質）を除き、ほとんどのデータセットで NF モデルより劣る。