[論文レビュー] Dependence Structure Estimation via Copula

Jian Ma, Zengqi Sun|arXiv (Cornell University)|Apr 28, 2008

Bayesian Modeling and Causal Inference参考文献 19被引用数 6

ひとこと要約

本稿では、コプシラエントロピー（CE）を用いたコプシラベースの枠組みを提案し、従属構造の推定を実現する。この手法により、モデルフリーかつマージンに依存しない、かつ頑健な最大スパニングコプシラ（MSC）構造の学習が可能となる。本手法は、CEを用いて対ごとの従属を測定し、Chow-Liuに類似したアルゴリズムを適用して木構造の従属関係を推定する。シミュレーションデータおよび住宅価格やアバロンの実データを用いた実験により、有効性が示された。

ABSTRACT

Dependence strucuture estimation is one of the important problems in machine learning domain and has many applications in different scientific areas. In this paper, a theoretical framework for such estimation based on copula and copula entropy -- the probabilistic theory of representation and measurement of statistical dependence, is proposed. Graphical models are considered as a special case of the copula framework. A method of the framework for estimating maximum spanning copula is proposed. Due to copula, the method is irrelevant to the properties of individual variables, insensitive to outlier and able to deal with non-Gaussianity. Experiments on both simulated data and real dataset demonstrated the effectiveness of the proposed method.

研究の動機と目的

• マージン分布やモデル仮定に依存しない普遍的な従属構造学習フレームワークの構築を目的とする。
• グラフィカルモデルの限界、特にパラメトリックなマージンや条件付き独立性仮定への依存を是正することを目的とする。
• 外れ値や非正規性に対して感受性が低く、頑健な従属構造の推定を可能とすることを目的とする。
• 2変量の条件付き独立性にとどまらず、コプシラ理論を用いてより広範な従属パターンを捉える構造学習への一般化を目的とする。
• 積コプシラとしてのグラフィカルモデルを特別な場合として含む統一的アプローチを提供し、より複雑な構造の推定を可能とすることを目的とする。

提案手法

• Sklarの定理を用いて、同時分布をマージン分布とコプシラ関数に分解し、従属構造をマージンの性質から分離する。
• コプシラエントロピー（CE）を、単調変換に対して不変であり、非パラメトリックかつモデルフリーな統計的従属の測度として用いる。
• すべての変数ペア間の対ごとの従属を定量化するため、CEを用いた従属行列を構築する。
• CEに基づく従属行列に対して、最大スパニングツリー（MST）アルゴリズムをChow-Liuに類似させ、最大スパニングコプシラ（MSC）を推定する。
• 外れ値や非正規マージン分布への感受性を低減するために、経験的コプシラ変換を用いる。
• 最近傍法による非パラメトリック推定を用いてCEを推定し、パラメトリックな分布族やマージン分布に関する仮定を回避する。

実験結果

リサーチクエスチョン

• RQ1 コプシラ理論は、マージン分布に依存しない一般化されたモデルフリーな従属構造学習フレームワークを提供できるか？
• RQ2 コプシラエントロピーは、マージンや同時分布のパラメトリックな形を仮定せずに、どのように従属構造を推定できるか？
• RQ3 従来の手法と比較して、提案手法は外れ値や非正規マージン分布に対してどの程度頑健であるか？
• RQ4 CEから導かれる最大スパニングコプシラ（MSC）は、従来のグラフィカルモデルと比較して、主な従属関係をどの程度適切に捉えられるか？
• RQ5 コプシラフレームワークは、木構造モデルを超えたより複雑な従属構造の推定に拡張可能か？

主な発見

• 提案されたMSC推定手法は、住宅価格データセットにおいて主要な従属構造を的確に捉えており、『Crim-Indus-Rad-Tax-Ptratio-Nox-Dis』と『Medv-Lstat』の2つの強いクラスタを特定した。
• アバロンデータセットにおいて、経験的コプシラは外れ値の影響をほとんど受けることなく、元のデータの散乱図と比較して頑健性が顕著に示された。
• コプシラ変換により、非正規マージン分布の影響が効果的に除去され、属性間の一貫した対ごとの従属パターンが明確に現れた。
• 本手法はマージンフリー推定を達成し、データ変換やパラメトリックなマージンモデル化の必要がなくなった。
• コプシラエントロピーは、単調変換に対して不変な正確な非パラメトリック従属測定を可能とし、多様なデータタイプにわたる一般化性能を向上させた。
• 本フレームワークは、積コプシラとしてのグラフィカルモデルを特別な場合として包含し、構造学習の統一的理論的基盤を提供した。