[論文レビュー] Multivariate Rank-based Distribution-free Nonparametric Testing using Measure Transportation

Nabarun Deb, Bodhisattva Sen|arXiv (Cornell University)|Sep 18, 2019

Bayesian Methods and Mixture Models参考文献 125被引用数 35

ひとこと要約

本論文は、測度輸送によって多変量ランクを定義することにより、多変量設定における分布に依存しない非パラメトリック検定の一般的な枠組みを開発し、相互独立性と多変量分布の等同性の厳密な分布に依存しない検定を可能にし、整合性と漸近的結果を提供する。

ABSTRACT

In this paper, we propose a general framework for distribution-free nonparametric testing in multi-dimensions, based on a notion of multivariate ranks defined using the theory of measure transportation. Unlike other existing proposals in the literature, these multivariate ranks share a number of useful properties with the usual one-dimensional ranks; most importantly, these ranks are distribution-free. This crucial observation allows us to design nonparametric tests that are exactly distribution-free under the null hypothesis. We demonstrate the applicability of this approach by constructing exact distribution-free tests for two classical nonparametric problems: (I) testing for mutual independence between random vectors, and (II) testing for the equality of multivariate distributions. In particular, we propose (multivariate) rank versions of distance covariance ((Székely et al. [117]) and energy statistic (Székely and Rizzo [116]) for testing scenarios (I) and (II) respectively. In both these problems we derive the asymptotic null distribution of the proposed test statistics. We further show that our tests are consistent against all fixed alternatives. Moreover, the proposed tests are computationally feasible and are well-defined under minimal assumptions on the underlying distributions (e.g., they do not need any moment assumptions). We also demonstrate the efficacy of these procedures via extensive simulations. In the process of analyzing the theoretical properties of our procedures, we end up proving some new results in the theory of measure transportation and in the limit theory of permutation statistics using Stein’s method for exchangeable pairs, which may be of independent interest.

研究の動機と目的

• 多次元領域における分布に依存しない非パラメトリック検定を動機づけ、開発する。
• 最適輸送を用いて多変量ランクを導入し、帰無仮説の下で分布に依存しない性質を達成する。
• 2つの古典的問題に対して距離共分散とエネルギー統計の順位ベースの類似量を構築する。
• 漸近的な帰無分布を確立し、固定 Alternatives に対する整合性を証明する。

提案手法

• population and empirical multivariate ranks using optimal transport between empirical data and a Halton/quasi-Monte Carlo grid.
• Prove distribution-freeness of the empirical multivariate ranks under absolute continuity.
• Replace data with multivariate ranks in distance covariance to obtain a rank-based, distribution-free test for mutual independence.
• Replace data with multivariate ranks in the energy statistic to obtain a rank-based, distribution-free test for equality of multivariate distributions.
• Derive the asymptotic null distributions of the proposed tests and prove their consistency against all fixed alternatives.
• Provide multi-sample extensions and discuss computational aspects using assignment problems and standard software.

実験結果

リサーチクエスチョン

• RQ1 多変量ランクを measure transportation によって定義することは、帰無仮説の下で分布に依存しない検定を多変量問題に対して生み出せるのか？
• RQ2 距離共分散とエネルギー統計を多変量ランクに適応させて分布に依存しない検定を得るにはどうすればよいか？
• RQ3 提案された順位ベースの検定はすべての固定された代替に対して整合性をもち、漸近的な帰無分布は何か？
• RQ4 実務上のこれらの検定の計算要件と最小限の仮定は何か？
• RQ5 この枠組みを二つの問題を超えて多群または他の多変量検定設定へ拡張できるのか？

主な発見

• 提案された多変量順位ベースの検定は、周辺が絶対連続である場合に帰無の下で厳密に分布に依存しない。
• 順位距離共分散と順位エネルギー統計は固定されたすべての代替に対して整合性があり、基礎分布に依存しない漸近的帰無限界を持つ。
• 母集団版の順位ベース測度は、一変数ではSpearman’s ρやCramér–von Mises統計の既知の量に接続される。
• この枠組みは有限サンプルでの分布に依存しない性質を提供し、割り当て問題を用いた計算可能性を確保する。
• この方法論は多群設定へ拡張可能で、対称性検定や他の多変量ノンパラメトリック問題にも適用できる。
• シミュレーションは、強い尾部や外れ値に対して競合法と比較してパワーとロバスト性が高いことを示す。