[논문 리뷰] Calibrating the scan statistic: finite sample performance vs. asymptotics

Guenther Walther, Andrew B. Perry|arXiv (Cornell University)|2020. 08. 13.

Data-Driven Disease Surveillance참고 문헌 38인용 수 5

한 줄 요약

이 논문은 짧은 신호 길이에서의 탐지 능력을 향상시키기 위해 스캔 통계량에 대한 유한표본 校정 기법을 제안한다. 이는 점근적 방법(예: Dümbgen-Spokoiny (DS) 통계량)이 짧은 신호에서 최적의 성능을 내지 못하는 문제를 해결한다. 세 가지 실용적인 校정 기법—스케일에 의존하는 임계값 조정, 유의수준 조정, 그리고 희소한 간격 하위집합을 사용한 가중 베르누이 스크리닝—을 제안하며, 각각 점근적 방법의 성능 손실을 피하면서도 강력한 유한표본 성능을 유지함을 보여준다.

ABSTRACT

We consider the problem of detecting an elevated mean on an interval with unknown location and length in the univariate Gaussian sequence model. Recent results have shown that using scale-dependent critical values for the scan statistic allows to attain asymptotically optimal detection simultaneously for all signal lengths, thereby improving on the traditional scan, but this procedure has been criticized for losing too much power for short signals. We explain this discrepancy by showing that these asymptotic optimality results will necessarily be too imprecise to discern the performance of scan statistics in a practically relevant way, even in a large sample context. Instead, we propose to assess the performance with a new finite sample criterion. We then present three calibrations for scan statistics that perform well across a range of relevant signal lengths: The first calibration uses a particular adjustment to the critical values and is therefore tailored to the Gaussian case. The second calibration uses a scale-dependent adjustment to the significance levels and is therefore applicable to arbitrary known null distributions. The third calibration restricts the scan to a particular sparse subset of the scan windows and then applies a weighted Bonferroni adjustment to the corresponding test statistics. This {\sl Bonferroni scan} is also applicable to arbitrary null distributions and in addition is very simple to implement. We show how to apply these calibrations for scanning in a number of distributional settings: for normal observations with an unknown baseline and a known or unknown constant variance,for observations from a natural exponential family, for potentially heteroscadastic observations from a symmetric density by employing self-normalization in a novel way, and for exchangeable observations using tests based on permutations, ranks or signs.

연구 동기 및 목표

• 점근적으로 최적의 스캔 통계량(예: DS)이 유한표본에서 짧은 신호에서 성능이 열 劣하는 데 대한 비판에 대응하기 위해.
• 특히 짧은 신호 길이에서 높은 탐지 능력을 유지할 수 있도록 다양한 신호 길이 전반에 걸쳐 고성능을 유지하는 校정 방법을 개발하기 위해.
• 유한표본에서 실질적인 성능을 더 잘 반영하는 점근적 근사 대신 유한표본 기준을 도입하기 위해.
• 가우시안 노이즈 이외의 다양한 분포 설정에서도 적용 가능한 일반화 가능하고 구현 가능한 校정 기법을 제공하기 위해.
• 유한표본에서의 성능이 점근적 예측과 상당히 다를 수 있으며, 이는 새로운 평가 기준이 필요하다는 점을 입증하기 위해.

제안 방법

• 점근적 최적성 대신 유한표본 성능을 평가하기 위한 새로운 기준을 제안하여 스캔 통계량의 평가 기준을 재정의한다.
• 가우시안 데이터에 특화된 스케일에 의존하는 임계값 조정 기법을 도입하여, 긴 신호에서의 탐지 능력을 향상시키되 짧은 스케일 탐지 능력은 유지한다.
• 모든 알려진 귀무분포에 적용 가능한 유의수준 조정 기법을 개발하여 간격 길이에 따라 p-값을 스케일링한다.
• 희소한 간격 하위집합을 사용한 블록 스캔을 수행한 후, 유의수준을 조정한 가중 베르누이 스크리닝을 적용하여 제1종 오류를 통제한다.
• 분산 추정이 필요 없이 이질적 또는 대칭 분포 오차를 다룰 수 있도록 자기정규화 기법을 적용한다.
• 교환 가능 데이터에 대해 순열 기반 검정을 사용하여 분포 가정 없이 순서통계량 또는 부호 기반 비모수적 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜 점근적으로 최적의 DS 스캔 통계량이 유한표본에서 짧은 신호에서 성능을 저하시키는가?
• RQ2 점근적 임계값을 데이터 기반의 스케일에 의존하는 조정으로 대체함으로써 유한표본에서의 스캔 통계량 성능을 향상시킬 수 있는가?
• RQ3 모든 신호 길이(짧음, 중간, 길이)에서 높은 탐지 능력을 유지할 수 있도록 校정 기법을 어떻게 설계할 수 있는가?
• RQ4 큰 유한표본(n이 매우 크지만 무한대가 아닌) 환경에서 점근적 최적성 결과가 얼마나 실용적 성능을 잘못 이끌 수 있는가?
• RQ5 모델 특화 조정 없이 다양한 분포 모델(Gaussian, 지수족, 이질적 분산, 교환 가능)에 적용 가능한 일반 목적의 校정 기법을 개발할 수 있는가?

주요 결과

• DS 스캔 통계량은 점근적으로 최적임에도 불구하고, 작은 스케일에서 과도한 임계값을 가지며, 이는 큰 표본에서도 짧은 신호 탐지 능력에 심각한 성능 손실을 초래한다.
• n = 10^3일 때, DS 캘리브레이션의 |I| = 1에서의 임계값은 4.14이며, 이는 표준 스캔의 3.72보다 뚜렷이 높아 짧은 신호에 대한 민감도가 떨어진다.
• 희소한 간격 하위집합으로 제한된 스캔을 수행하고 가중 베르누이 스크리닝을 적용한 제안된 베르누이 스크리닝은 DS보다 더 우수한 유한표본 성능을 보이며, 간단한 구현이 가능하다.
• 새로운 유한표본 기준은 점근적 결과가 큰 표본에서도 실용적 캘리브레이션을 안내하는 데 너무 모호하다는 것을 드러낸다.
• 제안된 校정 기법—임계값 조정, 유의수준 스케일링, 블록/베르누이 스크리닝—은 모든 신호 길이에서 향상된 탐지 능력을 달성하면서도 강력한 제1종 오류 통제를 유지한다.
• 유니온 바운드와 가우시안 尾部 바운드를 활용한 이론적 근거를 제시하며, 각 블록 내 간격 수에 대한 명시적 바운드를 도출하여, 베르누이 스크리닝 방식의 정당성을 확보한다.