[論文レビュー] A Statistically and Numerically Efficient Independence Test based on Random Projections and Distance Covariance

Cheng Huang, Xiaoming Huo|arXiv (Cornell University)|Jan 21, 2017

Machine Learning and Algorithms被引用数 8

ひとこと要約

本稿では、多変量確率的ベクトルに対する統計的かつ数値的に効率的な独立性検定として、ランダムに投影された距離共分散（RPDC）を提案する。高次元データを複数の1次元空間に投影し、高速な単変量距離共分散推定値の平均を取ることで、RPDCは計算量が O(Kn log n)、メモリ使用量が O(max{n, K}) に抑えられつつ、完全な多変量距離共分散検定と漸近的に同等の検出力を持つ。

ABSTRACT

Test of independence plays a fundamental role in many statistical techniques. Among the nonparametric approaches, the distance-based methods (such as the distance correlation based hypotheses testing for independence) have numerous advantages, comparing with many other alternatives. A known limitation of the distance-based method is that its computational complexity can be high. In general, when the sample size is $n$, the order of computational complexity of a distance-based method, which typically requires computing of all pairwise distances, can be $O(n^2)$. Recent advances have discovered that in the {\it univariate} cases, a fast method with $O(n \log n)$ computational complexity and $O(n)$ memory requirement exists. In this paper, we introduces a test of independence method based on random projection and distance correlation, which achieves nearly the same power as the state-of-the-art distance-based approach, works in the {\it multivariate} cases, and enjoys the $O(n K \log n)$ computational complexity and $O(\max\{n,K\})$ memory requirement, where $K$ is the number of random projections. Note that saving is achieved when $K < n/\log n$. We name our method a Randomly Projected Distance Covariance (RPDC). The statistical theoretical analysis takes advantage of some techniques on random projection which are rooted in contemporary machine learning. Numerical experiments demonstrate the efficiency of the proposed method, in relative to several competitors.

研究の動機と目的

• 標本サイズ n に対して O(n²) のスケーリングを示す多変量距離共分散検定の高い計算コストに対処すること。
• 既存の高速アルゴリズムが単変量ケースに限られる高次元または多変量設定において、効率的な独立性検定を可能にすること。
• 完全な多変量距離共分散と同等の統計的検出力を維持しながら、計算およびメモリ要件を著しく削減する手法の開発。
• 機械学習分野のランダム投影技術を活用し、多変量依存性を効率的に近似すること。
• 一般条件下での推定子の漸近的効率性および一貫性について理論的裏付けを提供すること。

提案手法

• ランダム行列を用いて、多変量確率的ベクトル X ∈ ℝ^p および Y ∈ ℝ^q を1次元の投影に変換する。
• [11]で提示された O(n log n) アルゴリズム（単変量ケースにのみ適用可能）を用いて、各投影ペアの高速な単変量距離共分散を計算する。
• K 回にわたり独立に投影と計算を繰り返し、K 個の代替距離共分散推定値を生成する。
• K 個の投影推定値の平均を最終的な距離共分散として推定することで、分散を低減し、頑健性を向上させる。
• ランダム投影および距離共分散に関する理論的結果を用いて、推定子の期待値が真の多変量距離共分散に収束することを示す。
• 帰無仮説（独立性）の下での検定統計量の漸近的分布を導出し、有効な p 値の計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最小限の統計的検出力の損失で、ランダム投影を用いて多変量距離共分散を近似可能か？
• RQ2 標準的な多変量距離共分散と比較して、提案手法の計算量およびメモリ使用量はどの程度か？
• RQ3 ランダム投影の回数 K が推定子の正確さおよび効率性に与える影響は？
• RQ4 提案手法は、完全な多変量距離共分散検定と同等の漸近的検出力を維持するか？
• RQ5 この手法は条件付き独立性検定や他の依存性測度へ拡張可能か？

主な発見

• 提案された RPDC 手法は、O(Kn log n) の計算量および O(max{n, K}) のメモリ使用量を達成しており、K < n / log n の場合に顕著な高速化が得られる。
• 理論的分析により、RPDC 推定子の漸近的分散が完全な多変量距離共分散と同等であることが示され、統計的効率性に損失がないことが示唆される。
• 数値実験により、RPDC は最先端の多変量距離ベース手法と同等の高い統計的検出力を維持していることが確認された。
• 本手法はスケーラブルであり、大規模なサンプルサイズに対しても効果的であり、現代の統計的分析におけるビッグデータ応用に適している。
• ランダム投影の使用により、帰無仮説（独立性）の下でも検定の一貫性が保たれ、妥当な推論が可能である。
• シミュレーションにおいて、既存の代替手法と比較して計算効率に優れつつ、同等またはより高い実騴的検出力を示した。