[論文レビュー] On the Optimality of Kernel-Embedding Based Goodness-of-Fit Tests

Krishnakumar Balasubramanian, Tong Li+1 more|arXiv (Cornell University)|Sep 24, 2017

Statistical Methods and Inference参考文献 29被引用数 13

ひとこと要約

本稿は、ミニマックスフレームワークにおけるカーネル埋め込みに基づく適合度検定の統計的最適性を調査する。標準的なカーネル埋め込み検定が最適でないことが示され、広範な代替仮説の下でミニマックス最適性を達成し、補間空間上で適応的である、緩和された埋め込みアプローチが提案される。理論的保証と数値的検証が併せられている。

ABSTRACT

The reproducing kernel Hilbert space (RKHS) embedding of distributions offers a general and flexible framework for testing problems in arbitrary domains and has attracted considerable amount of attention in recent years. To gain insights into their operating characteristics, we study here the statistical performance of such approaches within a minimax framework. Focusing on the case of goodness-of-fit tests, our analyses show that a vanilla version of the kernel-embedding based test could be suboptimal, and suggest a simple remedy by moderating the embedding. We prove that the moderated approach provides optimal tests for a wide range of deviations from the null and can also be made adaptive over a large collection of interpolation spaces. Numerical experiments are presented to further demonstrate the merits of our approach.

研究の動機と目的

• 一般の定義域におけるカーネル埋め込みに基づく適合度検定の統計的性能をミニマックスフレームワークを用いて理解すること。
• 特に、特定の代替仮説の下で、標準的なカーネル埋め込み検定の限界、特にその非最適性を同定すること。
• 広範な代替仮説クラスにわたってミニマックス最適性を達成する緩和されたカーネル埋め込みアプローチを開発すること。
• 滑らかさパラメータの事前知識がなくても、補間空間上で提案手法の適応性を確立すること。
• 理論的結果を有限標本シミュレーションにより数値的検証し、パワーとロバストネスの向上を示すこと。

提案手法

• 著者らは、合成代替仮説の下での検定のパワーを分析し、χ²ダイバージェンスで測定されるずれに注目する。
• 局所的代替仮説の下での検定における統計的効率性の向上と分散の低減を図るため、カーネル関数をスケーリングすることで緩和されたカーネル埋め込みを導入する。
• この手法は、再生核ヒルベルト空間（RKHS）理論に裏打ちされており、検定統計量として最大平均差分（MMD）を用いる。
• 理論的分析では、滑らかさとχ²距離を制御した関数空間に、有限個の代替仮説を構築する。これには正規直交基底関数とラドン＝ニコディム導関数を用いる。
• 証明戦略は、平均尤度比のL²(P₀)ノルムをバウンディングすることで、検定が帰無仮説から代替仮説を区別できる能力を検証する。
• 主な技術的ツールには、集中不等式と、バイアスとバリアンスのバランスを保つために、基底関数の数とその係数の精密な制御が含まれる。

実験結果

リサーチクエスチョン

• RQ1 標準的なカーネル埋め込みに基づく適合度検定は、さまざまな代替仮説クラスにおいてミニマックス最適であるか？
• RQ2 滑らかさが異なる局所的代替仮説の下で、そのままのカーネル埋め込み検定の統計的限界は何か？
• RQ3 単純な修正、すなわちカーネル埋め込みの緩和が、広範な関数空間にわたってミニマックス最適性を達成できるか？
• RQ4 提案された緩和された検定は、代替仮説における未知の滑らかさパラメータに適応可能か？
• RQ5 有限標本シミュレーションにおいて、緩和された検定のパワーは、そのままのカーネル埋め込み検定と比べてどのように異なるか？

主な発見

• そのままのカーネル埋め込み検定は、特定の代替仮説クラスにおいてミニマックス検出レートの観点で非最適であることが示された。
• 提案された緩和されたカーネル埋め込みアプローチは、χ²ダイバージェンスで測定される帰無仮説からの広範なずれに対してミニマックス最適性を達成する。
• この手法は、広大な補間空間の集合上で適応的であり、滑らかさパラメータの知識がなくても最適レートを達成する。
• 理論的分析により、緩和された埋め込みに基づく検定が、漸近的に帰無仮説に近い代替仮説を検出でき、検出境界がミニマックス下界と一致することが確認された。
• 数値実験により、緩和された検定が、さまざまな代替仮説において、パワーの面で標準的なカーネル埋め込み検定を一貫して上回ることが示された。
• 証明により、平均尤度比のL²(P₀)ノルムが1に収束することが確立され、提案された設計のもとで、検定が代替仮説と帰無仮説を区別できる能力が裏付けられた。