[論文レビュー] Distance-based and RKHS-based Dependence Metrics in High Dimension

Changbo Zhu, Shun Yao+2 more|arXiv (Cornell University)|Feb 8, 2019

Statistical Methods and Inference参考文献 40被引用数 10

ひとこと要約

本稿は、距離共分散とヒルバート＝シュミット独立性基準（HSIC）が、次元が高次元になる際、成分ごとの共分散を通じて線形依存性しか捉えられないために検出力が低下することを明らかにした。これを克服するために、マージナル距離／HSIC共分散を統合する手法を提案し、次元がサンプルサイズとともに増加する状況において非線形で単調でない依存関係の検出に顕著な改善をもたらした。

ABSTRACT

In this paper, we study distance covariance, Hilbert-Schmidt covariance (aka Hilbert-Schmidt independence criterion [Gretton et al. (2008)]) and related independence tests under the high dimensional scenario. We show that the sample distance/Hilbert-Schmidt covariance between two random vectors can be approximated by the sum of squared componentwise sample cross-covariances up to an asymptotically constant factor, which indicates that the distance/Hilbert-Schmidt covariance based test can only capture linear dependence in high dimension. As a consequence, the distance correlation based t-test developed by Szekely and Rizzo (2013) for independence is shown to have trivial limiting power when the two random vectors are nonlinearly dependent but component-wisely uncorrelated. This new and surprising phenomenon, which seems to be discovered for the first time, is further confirmed in our simulation study. As a remedy, we propose tests based on an aggregation of marginal sample distance/Hilbert-Schmidt covariances and show their superior power behavior against their joint counterparts in simulations. We further extend the distance correlation based t-test to those based on Hilbert-Schmidt covariance and marginal distance/Hilbert-Schmidt covariance. A novel unified approach is developed to analyze the studentized sample distance/Hilbert-Schmidt covariance as well as the studentized sample marginal distance covariance under both null and alternative hypothesis. Our theoretical and simulation results shed light on the limitation of distance/Hilbert-Schmidt covariance when used jointly in the high dimensional setting and suggest the aggregation of marginal distance/Hilbert-Schmidt covariance as a useful alternative.

研究の動機と目的

• 次元数 p と q が固定されたサンプルサイズ n とともに増加する高次元漸近的設定において、距離共分散およびヒルバート＝シュミット独立性基準（HSIC）の挙動を調査すること。
• 低次元では一般の依存関係を検出可能であるにもかかわらず、高次元においては結合的距離／HSICに基づく独立性検定が検出力を持たない理由を特定すること。
• 非線形および非単調な依存関係を高次元設定でよりよく検出できるように、マージナル標本距離／HSIC共分散を集約する新しい検定クラスを開発すること。
• 帰無仮説および対立仮説の両方において、標準化された標本距離／HSIC共分散およびそのマージナル版を分析する統一された理論的枠組みを確立すること。
• SzékelyとRizzo（2013）の距離相関 t 検定をHSICに基づくおよびマージナルに基づくバージョンに拡張し、高次元・小標本（HDLSS）状況における検出力を向上させること。

提案手法

• 標本距離／HSIC共分散の漸近的近似を導出し、それが高次元において成分ごとの標本共分散の二乗和に還元されることを示し、線形依存性の集中を特定する。
• 非線形で非単調な依存関係のパターンを捉えるために、マージナル標本距離／HSIC共分散の集約に基づく検定統計量を提案する。
• 帰無仮説および対立仮説の両方において、標準化された標本距離／HSIC共分散およびそのマージナル版のための包括的な漸近理論を新たに構築する。
• U統計量理論および漸近正規性の結果を用いて、帰無仮説下での提案検定統計量の極限分布を導出する。
• SzékelyとRizzo（2013）の距離相関 t 検定をHSICベースおよびマージナルベースのバージョンに拡張し、高次元における理論的妥当性を保証する。
• シミュレーションスタディを用いて、結合的検定とマージナルベース検定の検出力を比較し、統合手法の優れた性能を確認する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックであるにもかかわらず、なぜ結合的距離共分散およびHSICに基づく独立性検定が高次元設定において自明な極限検出力を示すのか？
• RQ2 高次元における標本距離／HSIC共分散が、どの程度まで成分間の線形依存性の測定に還元されるのか？
• RQ3 マージナル標本距離／HSIC共分散を集約することで、高次元データにおける非線形および非単調な依存関係の検出に、より高い検出力が得られるのか？
• RQ4 帰無仮説および対立仮説の両方において、標準化された標本距離／HSIC共分散およびそのマージナル版のための統一された漸近理論をどのように構築できるか？
• RQ5 次元数が固定されたサンプルサイズとともに増加する状況において、提案されたマージナル集約検定は、既存の結合検定を上回る検出力を示すのか？

主な発見

• 二つの高次元確率的ベクトル間の標本距離／HSIC共分散は、漸近的に成分ごとの共分散の二乗和に還元され、高次元では線形依存性しか捉えないことが示された。
• SzékelyとRizzo（2013）の距離相関 t 検定は、真の依存関係が非線形であるが成分間で相関がない場合に、自明な極限検出力を示すが、これは以前に報告されていなかった現象である。
• マージナル距離／HSIC共分散の集約に基づく提案検定は、シミュレーションにおいて結合検定よりも顕著に高い検出力を示した。特に非線形依存関係の検出において顕著な優位性を示した。
• 統一された漸近理論により、帰無仮説下で標準化されたマージナル距離／HSIC共分散が正規分布に収束することが示され、妥当な推論が可能となった。
• t検定をHSICおよびマージナルベースのバージョンに拡張することで、高次元設定における漸近的妥当性が保たれるとともに、検出力が向上した。
• 理論的結果により、帰無仮説下での検定統計量の極限分布が標準正規分布であることが確認され、標準正規分布の臨界値の使用が正当化された。