[論文レビュー] Generalizing Distance Covariance to Measure and Test Multivariate Mutual Dependence

Ze Jin, David S. Matteson|arXiv (Cornell University)|Sep 8, 2017

Advanced Statistical Methods and Models参考文献 12被引用数 5

ひとこと要約

本稿では、特徴関数とV統計量を用いて非線形および非単調な依存関係を検出できる一般化距離分散に基づき、3つの新しい多次元相互依存度測度を提案する。これらの測度は、かつてそのベクトルが互いに独立である場合に限り0となる。シミュレーションおよび実データにおける提案手法の検定力は強く、平均化効果により見過ごされる可能性がある対ごとの独立性チェックに比べて優れている。

ABSTRACT

We propose three measures of mutual dependence between multiple random vectors. All the measures are zero if and only if the random vectors are mutually independent. The first measure generalizes distance covariance from pairwise dependence to mutual dependence, while the other two measures are sums of squared distance covariance. All the measures share similar properties and asymptotic distributions to distance covariance, and capture non-linear and non-monotone mutual dependence between the random vectors. Inspired by complete and incomplete V-statistics, we define the empirical measures and simplified empirical measures as a trade-off between the complexity and power when testing mutual independence. Implementation of the tests is demonstrated by both simulation results and real data examples.

研究の動機と目的

• 対ごとの独立性チェックが平均化効果により失敗する可能性がある場合、複数の多次元確率ベクトル間の相互独立性を検出するための有効な手法の欠如に対処すること。
• 距離分散を対ごとのものから多次元相互依存度へ一般化し、すべてのベクトルが互いに独立である場合に限り測度が0となるように保証すること。
• 不完全なV統計量に基づく経験的および簡略化された経験的測度を用いて、計算の複雑さと統計的検出力のバランスをとった実装可能な検定を開発すること。
• シミュレーションおよび実データを通じて、本手法の有効性を示し、対ごとの手法に比べて相互依存関係を優れた感度で検出できることを確認すること。

提案手法

• 関数の差のL2ノルムに基づく、重み付き特徴関数に基づくV統計量を用いた完全な相互依存度測度を提案。これは、同時分布と周辺分布の積の特徴関数の差に由来する。
• すべての成分対の間の距離分散の二乗和として定義される、対称的および非対称的な変種を導入。これにより、相互独立の下で測度が0となることが保証される。
• 計算複雑性を低減しながら漸近的性質を保持するため、不完全なV統計量を用いた経験的および簡略化された経験的統計量を採用。
• 特徴関数および特徴関数に基づく期待値を用いて測度を定義することで、複雑な依存構造の非パラメトリック検出を可能にする。
• 帰無仮説および対立仮説の下での漸近的分布を導出し、独立性の下ではカイ二乗分布に類似した分布に収束し、依存性がある場合には発散することを示す。
• 多次元スラツキーの定理および成分の漸近的独立性を用いて、帰無仮説下での検定統計量の極限分布を確立する。

実験結果

リサーチクエスチョン

• RQ1 距離分散は、2つ以上の多次元確率ベクトル間の相互依存度を測定するために、対ごとのものから一般化可能か？
• RQ2 提案された相互依存度測度は、対ごとの手法が見過ごす可能性のある非線形および非単調な依存関係を正しく検出できるか？
• RQ3 計算効率の良い経験的および簡略化された経験的統計量は、複雑さを軽減しながらも十分な統計的検出力を維持できるか？
• RQ4 本手法は、dHSIC や対ごとの距離分散に基づく既存手法と比較して、高次元設定下での相互依存度検出において優れているか？

主な発見

• 提案された完全な相互依存度測度は、かつてその確率ベクトルが互いに独立である場合に限り0となるため、相互依存度の正確な検出が保証される。
• 帰無仮説下での検定統計量の漸近的分布は、重み付きカイ二乗分布の和に収束し、有効なp値の計算が可能になる。
• シミュレーション結果から、すべての対ごとの依存度が弱いか、存在しない場合でも、本手法の検定が相互依存度を正しく検出できることを示しており、対ごとのチェックに比べて優れていることが明らかになった。
• 簡略化された経験的バージョンは、計算複雑性を顕著に低減しながらも高い統計的検出力を維持しており、中程度のサンプルサイズにおいてスケーラブルである。
• 実データの例から、従来の手法が失敗するような実世界の設定でも、本手法が複雑で非線形な相互依存関係を検出できることを確認した。
• 本手法は、対ごとの独立性チェックに基づく既存手法よりも優れており、対ごとの依存度の相殺効果により誤って独立と結論づける可能性があるのを回避できる。