[論文レビュー] Mutual Dependence: A Novel Method for Computing Dependencies Between Random Variables

Rahul Agarwal, Pierre Sacré+1 more|arXiv (Cornell University)|Jun 1, 2015

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

本稿では、グラッジャーの公理を満たし、厳密に単調な変換に対して不変である理論的に理想的な依存度測度である相互依存度の、新規で直接的な推定器を提案する。バンド制限最大尤度（BLML）推定器を用いて、密度推定や数値積分を回避し、データから直接相互依存度を計算することで、多様な非線形性および周辺分布において、ピアソン相関や距離相関と比較して収束が速く、バイアスが低く、計算効率に優れる。

ABSTRACT

In data science, it is often required to estimate dependencies between different data sources. These dependencies are typically calculated using Pearson's correlation, distance correlation, and/or mutual information. However, none of these measures satisfy all the Granger's axioms for an "ideal measure". One such ideal measure, proposed by Granger himself, calculates the Bhattacharyya distance between the joint probability density function (pdf) and the product of marginal pdfs. We call this measure the mutual dependence. However, to date this measure has not been directly computable from data. In this paper, we use our recently introduced maximum likelihood non-parametric estimator for band-limited pdfs, to compute the mutual dependence directly from the data. We construct the estimator of mutual dependence and compare its performance to standard measures (Pearson's and distance correlation) for different known pdfs by computing convergence rates, computational complexity, and the ability to capture nonlinear dependencies. Our mutual dependence estimator requires fewer samples to converge to theoretical values, is faster to compute, and captures more complex dependencies than standard measures.

研究の動機と目的

• グラッジャーの公理を満たす理論的に理想的な依存度測度としての相互依存度の、計算効率的かつ高精度な推定器の開発を目的とする。
• ピアソン相関（非線形性に対して失敗）や距離相関（遅く、単調変換に対して不変でない）といった既存の測度の限界を克服することを目的とする。
• 非パラメトリックな密度推定や数値積分を回避することで、データから直接相互依存度を計算可能にする。
• さまざまな非線形および非正規分布を有するデータ分布において、標準的な依存度測度と比較して、収束速度と計算効率に優れた性能を示すことを目的とする。

提案手法

• 相互依存度 $d$ を、同時確率密度関数と周辺確率密度関数の積との間のバタチャリャ距離として定義する新しい依存度測度を提案する。
• 既知のカットオフ周波数 $f_c$ のもとで、平滑性と一貫性を保証するバンド制限最大尤度（BLML）推定器を用いて、確率密度関数を非パラメトリックに推定する。
• BLML推定値を用いて、同時および周辺確率密度関数の数値積分を必要としない解析的表現を導出する。
• データから直接相互依存度推定量 $\hat{d}$ を計算し、$\mathcal{O}(B^2 + n)$ の計算量で実現する。ここで $B \leq n$ は空でないビンの数である。
• モンテカルロシミュレーションを用いて、さまざまな非線形性および生成確率密度関数のもとで、$\hat{r}$、$\hat{R}$、$\hat{d}$ の収束性、バイアス、分散、計算時間を比較する。
• シミュレーションにおいて、BLML推定器のカットオフ周波数 $f_c = \frac{1}{1 - \rho^2}$ と設定し、元の確率密度関数構造を正確に再現できるようにする。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな密度推定や数値積分を回避することで、データから直接相互依存度を計算できるか？
• RQ2 さまざまな種類の非線形依存性において、提案された相互依存度推定量の収束速度は、ピアソン相関および距離相関と比較してどのように異なるか？
• RQ3 多様な周辺分布および非線形関数形において、相互依存度推定量は低バイアスおよび低分散を維持するか？
• RQ4 提案された推定量の計算複雑度は何か？また、距離相関の $\mathcal{O}(n^2)$ と比較して、どのように異なるか？
• RQ5 BLMLフレームワークにおけるカットオフ周波数の選択に、相互依存度推定量の性能がどれほど敏感か？

主な発見

• すべてのテストされた非線形性（線形、2次、3次、正弦波的依存）において、相互依存度推定量 $\hat{d}$ は $\hat{r}$ や $\hat{R}$ よりも収束が速い。
• 非線形データにおいて、$\hat{r}$ や $\hat{R}$ は高いバイアスと分散を示すが、$\hat{d}$ はすべての非線形性および周辺分布において一貫して低バイアス・低分散を維持する。
• すべてのデータタイプにおいて、$\hat{d}$ の統合平均二乗誤差（IMSE）は、サンプルサイズの増加に伴い滑らかに減少する。一方、$\hat{R}$ のIMSEは、3次およびバンド制限データでは分散が減少しないため、減少しない。
• 計算複雑度として $\mathcal{O}(B^2 + n)$ を達成しており、特に $B \ll n$ となる高密度データ環境では、$\mathcal{O}(n^2)$ の $\hat{R}$ よりも著しく高速である。
• すべてのサンプルサイズにおいて、$\hat{d}$ は $\hat{r}$ や $\hat{R}$ よりも低いIMSEを達成しており、推定精度と一貫性に優れていることが示された。
• 推定量は厳密に単調な変換に対して不変であり、理想的な依存度測度のための重要な公理を満たしている。理論的欠陥があるにもかかわらず、$\hat{R}$ よりも優れた性能を発揮する。