[論文レビュー] Calibrating the scan statistic: finite sample performance vs. asymptotics

Guenther Walther, Andrew B. Perry|arXiv (Cornell University)|Aug 13, 2020

Data-Driven Disease Surveillance参考文献 38被引用数 5

ひとこと要約

本稿では、短い信号でも高い検出力を維持できる有限標本におけるスキャン統計量のキャリブレーションを提案する。これは、短い信号において漸近的手法（Dümbgen-Spokoiny（DS）統計量など）の性能が不十分になる問題を解決するものである。本稿では、スケールに依存する臨界値、有意水準の調整、スパースな区間サブセットを用いた重み付きボンフェローニスキャンの3つの実用的キャリブレーションを導入し、いずれも漸近的手法の性能損失を回避しながら、有限標本における高い性能を維持することを示している。

ABSTRACT

We consider the problem of detecting an elevated mean on an interval with unknown location and length in the univariate Gaussian sequence model. Recent results have shown that using scale-dependent critical values for the scan statistic allows to attain asymptotically optimal detection simultaneously for all signal lengths, thereby improving on the traditional scan, but this procedure has been criticized for losing too much power for short signals. We explain this discrepancy by showing that these asymptotic optimality results will necessarily be too imprecise to discern the performance of scan statistics in a practically relevant way, even in a large sample context. Instead, we propose to assess the performance with a new finite sample criterion. We then present three calibrations for scan statistics that perform well across a range of relevant signal lengths: The first calibration uses a particular adjustment to the critical values and is therefore tailored to the Gaussian case. The second calibration uses a scale-dependent adjustment to the significance levels and is therefore applicable to arbitrary known null distributions. The third calibration restricts the scan to a particular sparse subset of the scan windows and then applies a weighted Bonferroni adjustment to the corresponding test statistics. This {\sl Bonferroni scan} is also applicable to arbitrary null distributions and in addition is very simple to implement. We show how to apply these calibrations for scanning in a number of distributional settings: for normal observations with an unknown baseline and a known or unknown constant variance,for observations from a natural exponential family, for potentially heteroscadastic observations from a symmetric density by employing self-normalization in a novel way, and for exchangeable observations using tests based on permutations, ranks or signs.

研究の動機と目的

• 漸近的に最適なスキャン統計量（例：DS）が有限標本において短い信号に対してパワーを失うという批判に応えること。
• 特に短い信号に対して高い検出パワーを維持できる、広範な信号長にわたるキャリブレーション手法を開発すること。
• 有限標本における実用的性能をよりよく反映するため、漸近的近似を有限標本基準に置き換えること。
• ガウスノイズを超える多様な分布的設定にも適用可能な一般化可能で実装可能なキャリブレーションを提供すること。
• 有限標本における性能が漸近的予測と著しく異なることがあり、これにより新たな評価基準の必要性が生じることを示すこと。

提案手法

• 漸近的最適性を主なベンチマークとする代わりに、スキャン統計量を評価するための新しい有限標本基準を提案する。
• ガウス分布データに特化したスケールに依存する臨界値の調整を導入し、長めの信号に対してパワーを向上させつつ、短いスケールの検出を損なわないようにする。
• 区間長に基づいてp値をスケーリングすることで、任意の既知の帰無分布に適用可能な有意水準の調整を提案する。
• スパースな区間サブセットを用いたブロッキングスキャンを提案し、その後に重み付きボンフェローニ補正を施して第一種過誤を制御する。
• 分散推定を必要とせず、異分散性や対称分布の誤差に対処できる自己正規化技術を適用する。
• 交換可能性のあるデータに対しては、分布の仮定を必要としないランクや符号に基づくノンパラメトリック推論が可能な、パーミュテーションベースの検定を用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜ漸近的に最適なDSスキャン統計量は、有限標本において短い信号に対してパワーを失うのか？
• RQ2 漸近的臨界値をデータ駆動のスケール依存調整に置き換えることで、スキャン統計量の有限標本性能を向上させられるか？
• RQ3 短い、中程度の、長い区間を含むすべての信号長にわたって高いパワーを維持できるように、キャリブレーション手法をどのように設計できるか？
• RQ4 nが非常に大きくても無限でない有限標本設定において、漸近的最適性の結果がどれほど実用的状況を誤解させるのか？
• RQ5 モデル固有のチューニングを必要とせず、ガウス分布、指数型分布族、異分散性、交換可能性といった多様な分布的モデルに適用可能な汎用的キャリブレーション手法を開発できるか？

主な発見

• DSスキャン統計量は漸近的に最適であるが、小さなスケールでは臨界値が高すぎることにより、大標本でも短い信号に対して顕著なパワー損失を被る。
• n = 10^3 の場合、DSキャリブレーションにおける |I| = 1 の臨界値は 4.14 であり、これは標準スキャンの 3.72 より顕著に高い値である。これは短い信号に対する感度が低下していることを示している。
• スパースな区間サブセットに制限を置き、重み付きボンフェローニ補正を施すことで、DSよりも優れた有限標本性能を達成するブロッキングスキャンが提案された。この手法は実装が簡単である。
• 新しい有限標本基準により、漸近的結果が大標本でも実用的キャリブレーションを指針とするにはあまりに不正確であることが明らかになった。
• 臨界値調整、有意水準スケーリング、ブロッキング／ボンフェローニスキャンの各キャリブレーションは、すべての信号長にわたってパワーを向上させつつ、強い第一種過誤制御を維持している。
• ユニオンバウンダーやガウス尾部バウンダーベースの理論的裏付けにより、ボンフェローニ補正の有効性を保証するブロック内区間数の明示的バウンダが確立された。