[論文レビュー] Neural Likelihoods via Cumulative Distribution Functions

Pawel M. Chilinski, Ricardo Silva|arXiv (Cornell University)|Nov 2, 2018

Neural Networks and Applications参考文献 41被引用数 7

ひとこと要約

本稿では、深層ニューラルネットワークを用いて単調な累積分布関数（CDF）をパrameter化するモノトニックニューラル密度推定器（MONDE）を提案する。これにより、順方向伝搬による直接的なCDF評価と、自動微分を用いた微分可能な密度推定が可能になる。この手法は密度推定において競争力のある性能を発揮するとともに、尾部確率と低次元マージナルの効率的計算を可能とし、一元的なフレームワークとして、単変量から高次元設定までスケーラビリティと柔軟性のバランスをとっている。

ABSTRACT

We leverage neural networks as universal approximators of monotonic functions to build a parameterization of conditional cumulative distribution functions (CDFs). By the application of automatic differentiation with respect to response variables and then to parameters of this CDF representation, we are able to build black box CDF and density estimators. A suite of families is introduced as alternative constructions for the multivariate case. At one extreme, the simplest construction is a competitive density estimator against state-of-the-art deep learning methods, although it does not provide an easily computable representation of multivariate CDFs. At the other extreme, we have a flexible construction from which multivariate CDF evaluations and marginalizations can be obtained by a simple forward pass in a deep neural net, but where the computation of the likelihood scales exponentially with dimensionality. Alternatives in between the extremes are discussed. We evaluate the different representations empirically on a variety of tasks involving tail area probabilities, tail dependence and (partial) density estimation.

研究の動機と目的

• 単調かつ微分可能な多変量累積分布関数（CDF）のニューラルネットワークベースのパrameter化を開発すること。
• 再適合が不要な状態で、尾部領域の確率と低次元マージナルの直接評価を可能にすること。
• 同一のニューラルネットワークアーキテクチャを用いて密度推定とCDFに基づく推論を統合するフレームワークを提供すること。
• 単変量、2変量、および高次元設定の間で、計算効率とモデリングの柔軟性のバランスをとること。
• 固定されたベース分布や混合成分の選択を回避することで、従来のノーマライジングフローと混合モデルの限界を克服すること。

提案手法

• 応答変数における単調性を保証するため、tanhなどの単調活性化関数を用いた深層ニューラルネットワークで条件付きCDFをパrameter化する。
• 応答変数に関する微分を用いて、CDFから条件付き確率密度関数（PDF）を自動微分により計算する。
• 多変量CDFの構築に3つのバリエーションを採用：(1) 定数共分散、(2) パrameter化された共分散、(3) 全ての柔軟性を実現するためのx,y同時変換。
• 確率的勾配降下法を用いて、最大複合尤度推定によりモデルを訓練し、バックプロパゲーションによるエンドツーエンド最適化を実現する。
• CDFネットワークの順方向伝搬から直接値を抽出することで、効率的なマージナライゼーションと尾部確率計算を可能にする。
• 共変数と応答変数を共有および別々のネットワークブランチを用いて同時にモデリングできる柔軟なアーキテクチャPUMONDE（パラメータ化された非制約MONDE）を導入する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを用いて、微分可能な密度推定が可能な単調な多変量CDFを効果的にパrameter化できるか？
• RQ2 CDFベースのモデルは、密度推定タスクにおいて、最先端のノーマライジングフローを上回るか、補完的に機能するか、その程度はいかほどか？
• RQ3 順方向伝搬による直接的なCDF評価は、尾部確率とマージナル分布推定の精度と効率を向上させるか？
• RQ4 さまざまなCDFパラメータ化戦略における、計算コストとモデリングの柔軟性のトレードオフは、どのように現れるか？
• RQ5 提案手法は、明示的なモデリング仮定なしに、尾部依存性や相互情報量推定のような複雑な依存構造を扱えるか？

主な発見

• MONDEフレームワークは、最先端のノーマライジングフロー（例：MAF）や混合密度ネットワーク（MDN）と比較して、競争力のある尤度性能を発揮しており、特に2変量尤度タスクで顕著である。
• x,y同時変換を用いたPUMONDEバージョンは、単一の順方向伝搬で正確な多変量CDF評価とマージナライゼーションを可能にするが、次元数が増加するにつれて尤度計算のスケーリングが指数関数的に増加する。
• 定数共分散バージョンは、高次元データ向けのスケーラブルな代替手段を提供し、一部の設定ではMDNやMAFを上回りながらも、単純で一様なアーキテクチャを維持している。
• 尾部依存性および相互情報量推定タスクにおいて、MONDEベースのモデルは、標準的な混合モデルよりも複雑な依存構造をより効果的に捉えていることが示された。
• 再トレーニングが不要な状態で、尾部領域確率と低次元マージナルの直接計算が可能であり、各マージナルごとに別々に適合が必要なモデルに比べて顕著な利点を有する。
• 実験的結果から、パラメータ化された共分散を用いたMONDEは、特に低次元設定において、密度推定と依存構造モデリングの両方で優れた性能を発揮することが示された。