[論文レビュー] Gaussian Process Vine Copulas for Multivariate Dependence

David López-Paz, Jose Miguel Hern ndez-Lobato+1 more|arXiv (Cornell University)|Feb 16, 2013

Gaussian Processes and Bayesian Inference参考文献 26被引用数 19

ひとこと要約

本稿では、スパースなガウス過程を用いて非線形かつ条件付きに依存するコプールパラメータを学習することにより、高次元多変量依存をモデル化するガウス過程ブーゲン・コプール（GPVINE）を提案する。ブーゲン・コプールで一般的に仮定される条件付き独立性の仮定を緩和することで、実世界のデータセットにおいて密度推定性能が著しく向上し、対応するベースラインおよび最先端手法をログリクレランス指標で上回った。

ABSTRACT

Copulas allow to learn marginal distributions separately from the multivariate dependence structure (copula) that links them together into a density function. Vine factorizations ease the learning of high-dimensional copulas by constructing a hierarchy of conditional bivariate copulas. However, to simplify inference, it is common to assume that each of these conditional bivariate copulas is independent from its conditioning variables. In this paper, we relax this assumption by discovering the latent functions that specify the shape of a conditional copula given its conditioning variables We learn these functions by following a Bayesian approach based on sparse Gaussian processes with expectation propagation for scalable, approximate inference. Experiments on real-world datasets show that, when modeling all conditional dependencies, we obtain better estimates of the underlying copula of the data.

研究の動機と目的

• コプールパラメータと条件変数の間の条件付き独立性を仮定するブーゲン・コプールモデルの制限を解消すること。
• 依存構造（例：ケンダールのtau）が条件変数に応じてどのように変化するかを柔軟に非線形にモデル化できること。
• スパースなガウス過程と期待値伝播を用いて、高次元コプール推定のスケーラブルでベイジアンな推論フレームワークを構築すること。
• 完全な条件付き依存関係をモデル化することで、簡略化されたブーゲン・コプールモデルと比較して密度推定性能が向上することを実証的に検証すること。
• 任意のブーゲン構造を、完全に条件付きの二変量コプールを用いて学習する汎用手法を提供すること。

提案手法

• 各二変量コプールの依存パラメータ（例：ケンダールのtau）を、条件変数の非線形関数としてモデル化し、τ = σ(f(u)) と定式化する。ここでfは潜在関数である。
• 潜在関数fにガウス過程事前分布を適用することで、条件付き依存の柔軟で非パrametricなモデル化を可能にする。
• 高次元におけるスケーラビリティを確保するため、一般化FITC近似を用いたスパースガウス過程を適用する。
• 期待値伝播を用いて近似ベイジアン推論を実施し、コプールパラメータの事後分布を効率的に学習可能にする。
• 各コプールの形状がその条件集合の関数として学習される階層的分解に基づいてブーゲン・コプールを構築する。
• 生データを一様分布に変換するための確率積分変換を用い、コプールベースの依存構造モデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 二変量コプールの依存パラメータを条件変数の非線形関数としてモデル化することで、多変量密度推定性能が向上するか？
• RQ2 条件付き依存関係を明示的にモデル化する場合と無視する場合とで、ブーゲン・コプールモデルの性能はどのように変化するか？
• RQ3 期待値伝播を用いたスパースガウス過程は、高次元の条件付きコプールモデルに対してスケーラブルかつ正確な推論を提供できるか？
• RQ4 本手法は、コプールパラメータの条件付き独立性を仮定する最先端手法を上回る性能を示すか？
• RQ5 どのような実世界の状況において、完全な条件付き依存関係を考慮することでコプール推定の性能が顕著に向上するか？

主な発見

• GPVINEは、株価（Stocks）を除くすべてのデータセットで最高の平均テストログリクレランスを達成し、優れた密度推定性能を示した。
• クラウド（Cloud）データセットでは、GPVINEが9.335 ± 0.348のテストログリクレランスを達成し、SVINE（8.899 ± 0.334）およびMLLVINE（9.013 ± 0.600）を著しく上回った。
• シャトル（Shuttle）データセットでは、GPVINEが3.645 ± 0.427を達成し、SVINE（2.552 ± 0.273）およびMLLVINE（2.256 ± 0.612）を著しく上回った。
• ハウジング（Housing）データセットでは、GPVINEが4.487 ± 0.386を達成し、SVINE（3.975 ± 0.342）およびMLLVINE（4.246 ± 0.480）を上回った。
• ウェザー（Weather）データセットでは、GPVINEが1.312 ± 0.227を達成し、SVINE（0.789 ± 0.159）およびMLLVINE（0.771 ± 0.890）を著しく上回った。
• 本手法は、大気圧と雲量の間の空間的に変化する依存関係を効果的に可視化でき、地理的地域ごとに条件付き依存構造が顕著に異なることを示した。