[論文レビュー] Speedy Model Selection (SMS) for Copula Models

Yaniv Tenzer, Gal Elidan|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 18被引用数 3

ひとこと要約

本稿では、スパルスの順位相関を負コプラー・エントロピーの代理として用いることで、混合コプラー族にわたるコプラー・グラフィカル・モデルの学習に向けた、非常に効率的なベイズ的手法であるSpeedy Model Selection (SMS) を提案する。スパルスのrhoとエッジ寄与度との間の単調性関係を活用することで、幅広い混合コプラー族にわたる高速かつスケーラブルな構造学習が可能となり、既存の手法と比較して桁違いの高速化を達成しながら、実世界のデータセットにおいて優れた一般化性能を示した。

ABSTRACT

We tackle the challenge of efficiently learning the structure of expressive multivariate real-valued densities of copula graphical models. We start by theoretically substantiating the conjecture that for many copula families the magnitude of Spearman's rank correlation coefficient is monotone in the expected contribution of an edge in network, namely the negative copula entropy. We then build on this theory and suggest a novel Bayesian approach that makes use of a prior over values of Spearman's rho for learning copula-based models that involve a mix of copula families. We demonstrate the generalization effectiveness of our highly efficient approach on sizable and varied real-life datasets.

研究の動機と目的

• 混合コプラー族を有する複雑な多変量コプラー・グラフィカル・モデルを学習する際の計算上の課題に対処すること。
• エッジ寄与度の負コプラー・エントロピーへの理論的基礎を確立し、スパルスの順位相関と結びつけること。
• 高価な密度推定やコプラー適合を回避する、スケーラブルなベイズ的モデル選択フレームワークを構築すること。
• 一般化性能を損なわず、高次元設定でも効率的な構造学習を可能にすること。
• 実用的かつスケーラブルな性能を示す、多様な実生活のデータセットにおける本手法の有効性を実証すること。

提案手法

• 本手法は、多くのコプラー族において、スパルスのrhoがエッジが負コプラー・エントロピーに寄与する期待値に対して単調であるという理論的知見を活用する。
• 計算コストの高いコプラー密度推定を置き換えるために、スパルスのrho値に事前分布を導入し、ベイズ的モデル選択を支援する。
• ランクベースの統計を用いてエッジの重要度を近似し、候補となるグラフィカル構造の迅速な評価を可能にする。
• スパルスのrhoに基づくベイズ的スコア関数を構築し、可能なコプラー・ネットワークの空間における効率的な探索を可能にする。
• 各エッジの従属構造を独立して扱うことで、混合コプラー族をサポートする。その際、ランク相関を用いる。
• スコアに基づくグリーディーまたはヒューリスティックな探索により、グラフィカル構造のモデル選択を実行し、計算コストを顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 一般的なコプラー族において、スパルスの順位相関とエッジが負コプラー・エントロピーに寄与する期待値との間に単調性関係が存在するか？
• RQ2 スパルスのrhoは、ベイズ的モデル選択において、コプラー・エントロピーの効果的かつ効率的な代理として機能できるか？
• RQ3 本手法であるSMSは、実世界のデータにおいて、既存のコプラー構造学習手法と比較して正確性と速度の両面で優れているか？
• RQ4 高次元データセットに対しても、一般化性能を維持したまま効果的にスケーリングできるか？
• RQ5 スパルスのrhoにランクベースの事前分布を適用することで、多様な従属構造にわたる堅牢かつ一貫性のあるモデル選択が可能になるか？

主な発見

• 理論的分析により、幅広いコプラー族において、スパルスのrhoがエッジの負コプラー・エントロピーへの期待寄与度に対して単調であることが確認された。
• SMSは、従来のコプラー構造学習手法と比較して、桁違いの高速化を達成した。
• 実生活のデータセットにおいて、SMSは良好な一般化性能を示し、混合コプラー族や高次元性に対しても強力な性能を発揮した。
• 本手法はランク相関に依存することで、完全な密度推定やパrameter適合の計算的負担を回避できた。
• 実験的結果から、スパルスに基づく事前分布を用いたベイズフレームワークが、多様なデータタイプにわたる安定的かつ信頼性の高いモデル選択をもたらすことが示された。
• 本手法は、数百変数に達するデータセットに対しても効果的にスケーリングでき、統計学および機械学習分野における実世界の応用に実用的であることが示された。