[論文レビュー] Permutation tests of non-exchangeable null models

Jeffrey Roach, William Valdar|arXiv (Cornell University)|Aug 30, 2018

Diverse Scientific and Engineering Research参考文献 14被引用数 3

ひとこと要約

本稿は、非交換的帰無仮説モデルへの順列検定の一般化を図り、正確性を維持するとともに、閉形式で最も powerful な一般化順列検定を導出する枠組みを導入する。モンテカルロ近似の収束をベルシュタイン多項式に基づく推定器を用いて確立し、p値推定誤差に対する厳密な境界を提供することで、線形混合モデルのような複雑なモデルへの実用的応用を可能にする。

ABSTRACT

Generalizations to the permutation test are introduced to allow for situations in which the null model is not exchangeable. It is shown that the generalized permutation tests are exact, and a partial converse: that any test function that is exact on all probability densities coincides with a generalized permutation test on a particular region, is established. A most powerful generalized permutation test is derived in closed form. Approximations to the most powerful generalized permutation test are proposed to reduce the computational burden required to compute the complete test. In particular, an explicit form for the approximate test is derived in terms of a multinomial Bernstein polynomial approximation, and its convergence to the most powerful generalized permutation test is demonstrated. In the case where the determination of p-values is of greater interest than testing of hypotheses, two approaches to estimation of significance are analyzed. Bounds on the deviation from significance of the exact most powerful test are given in terms of sample size. For both estimators, as sample size approaches infinity, the estimator converges to the significance of the most powerful generalized permutation test under mild conditions. Applications of generalized permutation testing to linear mixed models are provided.

研究の動機と目的

• 交換的帰無仮説モデルを超えて順列検定を拡張すること。交換的モデルは外れ値に敏感で構造的制約があるため、実際にはしばしば現実的ではない。
• 非交換的帰無仮説下でも正確なまま保たれる一般化順列検定を開発すること。これにより、第1種の過誤を適切に制御できる。
• 線形最適化を用いて、ネイマン＝ピアソン理論と関連づけながら、非交換的帰無仮説下での最も powerful な一般化順列検定を閉形式で導出すること。
• モンテカルロサンプリングと多項分布ベルシュタイン多項式推定器を用いて、計算的に実行可能な近似を提供すること。
• p値推定の精度を分析し、正確な最も powerful な検定からの逸脱に関する確率的境界を提示すること。

提案手法

• 一般化順列検定は、非交換的帰無仮説密度 $ g_0 $ を反映する置換上の確率測度によって定義され、$ g_0 $ が交換的である場合には標準的順列検定に還元される。
• 最も powerful な検定は、帰無分布下でのパワーを最大化するように、置換空間上の標準的線形計画問題を解くことで導出される。
• モンテカルロ近似は、推定密度 $ \hat{g}_0 $ に従って置換をサンプリングすることで構築され、選択確率は非対称なユニットにおける積分によって定義される。
• 閾値を超える尤度比を持つ置換の割合に基づく推定子 $ \Sigma_U $ は、真のp値に対して不偏であることが示された。
• ベルシュタイン多項式近似を用いて、検定統計量の分布をモデル化し、標本サイズが増加するにつれて正確な最も powerful な検定に収束することを可能にする。
• ホーフディングの不等式およびベルシュタインの不等式を用いて、p値推定子が真の有意水準から逸脱する偏差を確率的に境界づけ、確率的収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非交換的帰無仮説モデルに一般化された順列検定は、正確性とパワーを保持しつつ可能か？
• RQ2 非交換的帰無仮説モデル下での最も powerful な一般化順列検定の形は何か？
• RQ3 すべての $ n! $ 個の置換を計算せずに、最も powerful な検定を効率的に近似する方法は何か？
• RQ4 この一般化枠組みにおけるモンテカルロp値推定子の収束性と誤差境界は何か？
• RQ5 ベルシュタイン多項式に基づく近似スキームと直接的なモンテカルロサンプリングの間で、正確性と効率性の観点からどのように比較できるか？

主な発見

• 一般化順列検定は、いかなる非交換的帰無仮説モデルに対しても正確であり、すべての確率密度に対して正確な検定が成立する場合、その検定は大きな標本空間の部分集合上で、このような一般化検定と一致する。
• 最も powerful な一般化順列検定は、置換群上の線形最適化問題に帰着させることで、閉形式で導出される。
• 推定密度 $ \hat{g}_0 $ に従って置換をサンプリングするモンテカルロ近似は、サンプル数が増加するにつれて、ほとんど確実に真の最も powerful な検定に収束する。
• 尤度比が $ l(\mathbf{x}) $ を超える置換の割合に基づくp値推定子 $ \Sigma_U $ は、真の有意水準に対して不偏である。
• ホーフディングの不等式およびベルシュタインの不等式により、p値推定子が真の値から逸脱する偏差に対する明示的な確率的境界が得られ、サンプル数が増加するにつれて誤差が指数関数的に減少する。
• 多項分布ベルシュタイン多項式近似は、滑らかで収束性を有する最も powerful な検定の推定子を提供し、$ \hat{g}_0 $ にややきつい正則性条件が課される場合を除き、収束が保証される。