[論文レビュー] Comparing a Large Number of Multivariate Distributions

Ilmun Kim|arXiv (Cornell University)|Apr 11, 2019

Statistical Methods and Inference参考文献 54被引用数 4

ひとこと要約

本稿では、カーネル平均埋め込みを用いて多次元分布の非パrametric Kサンプル検定を提案し、スパース代替仮説を検出するために、対比較最大平均差分（MMD）の最大値に注目する。この検定はパーミュテーションリサンプリングを用いて実装されており、理論的保証により、帰無仮説下でGumbel分布に収束し、スパース代替仮説に対して最小最大レート最適性を達成する。これは、高次元・高K設定において、平均型の検定を上回る性能を示す。

ABSTRACT

In this paper, we propose a test for the equality of multiple distributions based on kernel mean embeddings. Our framework provides a flexible way to handle multivariate or even high-dimensional data by virtue of kernel methods and allows the number of distributions to increase with the sample size. This is in contrast to previous studies that have been mostly restricted to classical low-dimensional settings with a fixed number of distributions. By building on Cramer-type moderate deviation for degenerate two-sample V-statistics, we derive the limiting null distribution of the test statistic and show that it converges to a Gumbel distribution. The limiting distribution, however, depends on an infinite number of nuisance parameters, which makes it infeasible for use in practice. To address this issue, the proposed test is implemented via the permutation procedure and is shown to be minimax rate optimal against sparse alternatives. During our analysis, an exponential concentration inequality for the permuted test statistic is developed which may be of independent interest.

研究の動機と目的

• スパース代替仮説（すなわち、わずかに異なる分布の少数が存在する）に対して強力な多次元Kサンプル検定が不足しているという問題に対処すること。
• サンプルサイズNと分布の数Kがともに大きくなる状況でも有効な検定を構築すること。
• 無限個のずれパrameterに依存する制限的帰無分布の不測定性を克服すること。
• スパース代替仮説下で、パーミュテーションベースの検定の理論的最適性と一様一貫性を確立すること。
• 高次元・高K多次元検定に実用的かつ計算可能である方法を提供すること。

提案手法

• 検定統計量は、すべてのK個の分布間の対比較MMDの最大値として定義され、多次元非パラメトリック比較のためのカーネル平均埋め込みを活用する。
• 制限的帰無分布は、退化した2標本V統計量のCramér型中程度偏差を用いて導出され、Gumbel分布への収束を示す。
• 制限的帰無分布が不測定であるため、臨界値とp値を決定するためにパーミュテーション手順を用いる。
• ボブコフの不等式を用いて、モーメント仮定なしに観測可能な量のみに依存する、パーミュテーション検定統計量の指数的集中不等式を導出する。
• パーミュテーション検定は、スパース代替仮説に対して正規性条件下で一様一貫性および最小最大レート最適性を示す。
• シミュレーションでは、M=200回のランダムパーミュテーションを用い、有意水準α=0.05で800回の繰り返しにおいてパワーを推定する。

実験結果

リサーチクエスチョン

• RQ1 Kが増加しても、わずかに異なる分布の少数が存在する（スパース代替仮説）状況で、高いパワーを維持できる多次元Kサンプル検定を開発できるか？
• RQ2 高K・高N漸近的状況下で、カーネルMMDに基づく最大型検定統計量の制限的帰無分布は何か？
• RQ3 制限的帰無分布における無限次元のずれパrameter問題を、実務的にどのように克服できるか？
• RQ4 パーミュテーションベースの検定の実装は、スパース代替仮説に対して一様一貫性があり、最小最大最適性を達成するか？
• RQ5 高次元・スパース設定において、提案された最大型検定は平均型MMD検定と比べてパワーで優れているか？

主な発見

• 提案された最大対比較MMDに基づく検定は、Kが100に達してもパワーが1に近づくことを示し、スパース状況下で分布数の増加に対しても頑健であることを裏付ける。
• これに対して、DISCO や ECF といった平均型検定は、平均 pairwise 距離における信号の希釈により、Kの増加に伴いパワーが低下する。
• 検定統計量の制限的帰無分布は、帰無仮説下でGumbel分布に収束するが、無限個のずれパrameterに依存する。
• パーミュテーション手順は、正規性条件下で一様一貫性を示し、スパース代替仮説に対して最小最大レート最適性を達成する。
• ボブコフの不等式を用いて、モーメント仮定なしに、パーミュテーション検定統計量の指数的集中不等式が導出され、モーメント仮定なしにきわめて鋭い尾部バウンドが得られる。
• 本手法は、固定されたグループ内サンプルサイズ（n=10）で次元d=5の高次元設定において特に効果的であり、スパース信号検出において既存手法を上回る性能を示す。