[論文レビュー] Copula-based Kernel Dependency Measures

Barnabás Póczos, Zoubin Ghahramani+1 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Statistical Methods and Models参考文献 15被引用数 42

ひとこと要約

本稿では、共分散関数に基づく新しいカーネル依存度測定法を提案する。この手法は、最大平均乖離（MMD）を連携分布のコプシラに拡張することで、単調な周辺変換に対して不変である、頑健な非パラメトリックな依存度推定を可能にする。この方法は順位統計量に依存し、一貫性を保証し、特徴選択および分布埋め込みタスクで優れた性能を発揮する。

ABSTRACT

The paper presents a new copula based method for measuring dependence between random variables. Our approach extends the Maximum Mean Discrepancy to the copula of the joint distribution. We prove that this approach has several advantageous properties. Similarly to Shannon mutual information, the proposed dependence measure is invariant to any strictly increasing transformation of the marginal variables. This is important in many applications, for example in feature selection. The estimator is consistent, robust to outliers, and uses rank statistics only. We derive upper bounds on the convergence rate and propose independence tests too. We illustrate the theoretical contributions through a series of experiments in feature selection and low-dimensional embedding of distributions.

研究の動機と目的

• 特徴選択およびデータ解析における主要な制限要因である周辺変数の厳密に増加する変換に対して不変である依存度測定法の開発。
• 最大平均乖離（MMD）フレームワークを連携分布のコプシラに拡張し、より頑健で意味のある依存度の定量化を可能にする。
• 推定器が一貫性を保ち、外れ値に対して頑健であり、信頼性を高めるために順位統計量にのみ依存することを保証する。
• 理論的収束速度の上限バウンドを導出し、提案された測定法に基づく独立性検定を構築する。
• 特徴選択および低次元分布埋め込みといった実用的応用における手法の経験的妥当性を検証する。

提案手法

• この手法は、元のデータではなく、連携分布のコプシラに最大平均乖離（MMD）を適用することで、依存度をモデル化し、周辺効果を除去する。
• 順位統計量にのみ依存することで、周辺変数の単調変換に対して不変性を実現する。
• コプシラに基づくMMD推定器は、再生核ヒルベルト空間（RKHS）におけるカーネル埋め込みを用いて構築され、非パラメトリック推定を可能にする。
• 経験過程理論を用いて理論的収束速度を導出し、推定誤差の上界を提供する。
• 帰無仮説（独立性）の下での検定統計量を計算することで、独立性検定を可能にする。p値は漸近分布から導出される。
• 標準的なカーネル関数と順位変換を用いて実装されるため、計算効率が高く、スケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 周辺変数の厳密に増加する変換に対して不変である、カーネルベースの依存度測定法を構築できるか。これはシャノン相互情報量の不変性特性に類似している。
• RQ2 コプシラベースのMMD推定器は、従来の依存度測定法と比較して、頑健性、一貫性、収束速度の観点でどのように異なるか。
• RQ3 提案手法は、特徴選択および低次元分布埋め込みタスクにおいて、どの程度性能を向上させるか。
• RQ4 コプシラベースのMMD推定器の理論的収束速度は何か。また、標本サイズに伴いどのようにスケーリングされるか。
• RQ5 この手法は、信頼性のある第一種誤りコントロールを実現する非パラメトリック独立性検定を効果的に構築するために使用できるか。

主な発見

• 提案されたコプシラベースのカーネル依存度測定法は、周辺変数の任意の厳密に増加する変換に対して不変であり、相互情報量の不変性特性を再現する。
• 推定器は一貫性を保ち、順位統計量にのみ依存するため、外れ値に対して頑健である。順位統計量は本質的に頑健である。
• 推定器の収束速度に対する理論的上界が導出され、正則性条件の下で良好な標本複雑度を示す。
• 経験的結果は、特に高次元設定において、ベースライン手法と比較して特徴選択タスクで優れた性能を発揮することを示している。
• コプシラベースのMMDを用いることで、依存構造を保持する低次元分布埋め込みが効果的に可能になる。
• 提案された測定法に基づく独立性検定は、シミュレーションおよび実世界のデータにおいて、信頼性のある第一種誤りコントロールと良好な検出力を持つ。