[論文レビュー] Dimension-agnostic inference using cross U-statistics

Ilmun Kim, Aaditya Ramdas|arXiv (Cornell University)|Nov 10, 2020

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、次元に依存しない推論フレームワークを、交差U統計量を用いて導入し、標本サイズnに対する次元dのスケーリングにかかわらず、正規分布に漸近的に収束する分布を達成する。サンプル分割、自己正規化、および検定統計量の変分表現を活用することで、固定次元、高次元、超高次元の各状態において有効な推論が可能となり、次元に特化したU統計量の性能にまで、√2の要因を除いて一致するパワーを達成する。

ABSTRACT

Classical asymptotic theory for statistical inference usually involves calibrating a statistic by fixing the dimension $d$ while letting the sample size $n$ increase to infinity. Recently, much effort has been dedicated towards understanding how these methods behave in high-dimensional settings, where $d$ and $n$ both increase to infinity together. This often leads to different inference procedures, depending on the assumptions about the dimensionality, leaving the practitioner in a bind: given a dataset with 100 samples in 20 dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$? This paper considers the goal of dimension-agnostic inference; developing methods whose validity does not depend on any assumption on $d$ versus $n$. We introduce an approach that uses variational representations of existing test statistics along with sample splitting and self-normalization to produce a refined test statistic with a Gaussian limiting distribution, regardless of how $d$ scales with $n$. The resulting statistic can be viewed as a careful modification of degenerate U-statistics, dropping diagonal blocks and retaining off-diagonal blocks. We exemplify our technique for some classical problems including one-sample mean and covariance testing, and show that our tests have minimax rate-optimal power against appropriate local alternatives. In most settings, our cross U-statistic matches the high-dimensional power of the corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.

研究の動機と目的

• dがnに対してどのようにスケーリングするかに関する仮定に依存するキャリブレーション手法の選択という、実務上のジレンマを解決すること。
• 次元dが標本サイズnとどのようにスケーリングするかにかかわらず、有効な推論手順が維持される単一の手続きを開発すること。
• dとnのスケーリングに関する事前の知識なしに、さまざまな漸近的状態において最小最大レート最適のパワーを達成すること。
• 変分表現とサンプル分割を用いた、次元に依存しない推論の一般化可能なフレームワークを導入すること。

提案手法

• データを互いに素なサブセットに分割することで、条件付き期待値の独立推定を可能にするサンプル分割を用いる。
• U統計量の自己正規化を適用し、分散の安定化と正規分布への収束を保証する。
• 検定統計量の変分表現を用いて、次元性に依存する依存性を分離する。
• 対角成分を除外し、非対角成分のU統計量のみを保持することで、洗練された検定統計量を構築する。
• 一般のd_n/nスケーリング下で、交差U統計量の漸近的正規性を導出する。これには、固定次元、高次元、超高次元の各状態が含まれる。
• タイプIおよびタイプIIエラーを一様に制御するため、マコフ不等式とチエビシェフ不等式を組み合わせ、慎重な集中不等式を用いる。

Figure 1 : Pictorial illustration of the difference between the U-statistic ( 27 ) and the proposed sample-split counterpart ( 31 ) based on the same kernel $h(x,y)$ . The U-statistic is defined as the average of all pairwise distances among observations, corresponding to all elements in the $6\time

実験結果

リサーチクエスチョン

• RQ1 d_nがnに対してどのようにスケーリングするかに関係なく、固定次元、高次元、超高次元の各状態において、一様に漸近的有効性を保つ単一の統計的検定が可能か？
• RQ2 次元のスケーリングに関する事前の知識なしに、その次元性に最適に適応する推論手続きを設計することは可能か？
• RQ3 注意深く構築することで、d/nのスケーリング状態に関係なく、検定統計量の漸近的分布を近似的に正規分布にできるか？
• RQ4 次元に依存しない推論のパワーは、次元に特化したU統計量手法のパワーと比べてどの程度か？
• RQ5 特定の検定統計量を超えて、次元に依存しない推論を可能にする一般的なメソドロジカル原則は何か？

主な発見

• 提案された交差U統計量は、すべてのd_n/nスケーリング状態で正規分布に漸近的に収束し、普遍的なキャリブレーションを可能にする。
• 次元性に関する仮定にかかわらず、有意水準αの検定および1−αの信頼区間の漸近的有効性を保証する。
• 局所代替仮説に対する最小最大レート最適のパワーを維持し、退化U統計量の性能に√2の要因を除いて一致する。
• タイプIエラーはすべての状態で一様に制御され、タイプIIエラーはmin{m_1, m_2} → ∞に伴い消える。
• d_nやそのnに対する増加率に関する知識なしに、一様漸近的有効性を達成する。
• 集中不等式と変分表現を用いた理論的保証により、多様な高次元設定においても頑健性を確保する。

Figure 2 : Illustration of the data settings with a fixed conditioning set $\mathcal{X}_{2}$ (left) and an increasing conditioning set $\mathcal{X}_{2}$ (right). When $\mathcal{X}_{2}$ is fixed, the standard CLT on $\mathcal{X}_{1}$ applies conditional on $\mathcal{X}_{2}$ . However, when $\mathcal{