[논문 리뷰] Sequential Nonparametric Testing with the Law of the Iterated Logarithm

Akshay Balsubramani, Aaditya Ramdas|arXiv (Cornell University)|2015. 06. 10.

Statistical Methods in Clinical Trials참고 문헌 22인용 수 11

한 줄 요약

이 논문은 i.i.d. 데이터를 위한 선형 시간, 일정한 메모리 공간에서 유한 표본 내에서 제1종 및 제2종 오류를 통제하는 새로운 순차 비모수적 검정 프레임워크를 제안한다. 제1종 오류를 균일하게 통제하기 위해 영평균 마팅게일 검정 통계량을 구성하고, 거부 임계값을 설정하기 위해 비점근적이고 균일한 반복로그 로그 법칙(LIL)을 사용함으로써, 최소한의 표본 수에서 적응적으로 정지하게 된다. 이는 배치 검정의 검정력과 동일한 성능을 달성하면서도 사전 지식 없이 문제의 난이도를 자동으로 감지한다.

ABSTRACT

We propose a new algorithmic framework for sequential hypothesis testing with i.i.d. data, which includes A/B testing, nonparametric two-sample testing, and independence testing as special cases. It is novel in several ways: (a) it takes linear time and constant space to compute on the fly, (b) it has the same power guarantee as a non-sequential version of the test with the same computational constraints up to a small factor, and (c) it accesses only as many samples as are required - its stopping time adapts to the unknown difficulty of the problem. All our test statistics are constructed to be zero-mean martingales under the null hypothesis, and the rejection threshold is governed by a uniform non-asymptotic law of the iterated logarithm (LIL). For the case of nonparametric two-sample mean testing, we also provide a finite sample power analysis, and the first non-asymptotic stopping time calculations for this class of problems. We verify our predictions for type I and II errors and stopping times using simulations.

연구 동기 및 목표

• 복합 귀무가설 하에서 다변량 비모수적 문제에 대해 최소한의 계산 및 저장 공간 오버헤드를 갖는 순차 가설 검정 프레임워크를 개발한다.
• 중앙극한정리(CLT)와 같은 점근적 근사에 의존하지 않고, 유한 표본 내 제1종 오류 통제를 보장한다.
• 알 수 없는 문제 난이도에 따라 정지 시기를 적응적으로 조정하여, 거의 최적의 제2종 오류 통제를 달성한다.
• 이론적 보장을 갖춘 조기 정지를 가능하게 하여, 선형 시간 배치 검정의 검정력과 동일한 성능을 달성하면서도 필요한 표본 수만을 사용한다.
• A/B 테스트, 두 표본 검정, 그리고 독립성 검정에 적용 가능한 일반적이고 확장 가능한 방법을 제공한다.

제안 방법

• 귀무가설 하에서 영평균 마팅게일로 구성된 검정 통계량을 사용하여, 유효한 순차적 추론을 보장한다.
• 시간에 관계없이 제1종 오류를 균일하게 통제하기 위해, 비점근적이고 균일한 반복로그 로그 법칙(LIL)을 사용하여 기각 임계값을 설정한다.
• 정지 시기는 검정 통계량이 LIL 유효범위를 벗어나는 첫 번째 순간에 결정되며, 이는 실제 신호 강도에 적응한다.
• 두 번째 차수의 균일한 마팅게일 농도 경계(예: 프리드먼 부등식)를 활용하여 날카운 유한 표본 이탈 경계를 유도한다.
• 표본 분산에 대해 지수적으로 증가하는 에포크 단위로 피어싱 추론을 사용하여, 농도에서 최적의 반복로그 로그 비율을 달성한다.
• 온라인에서 계산되는 스칼라 검정 통계량 외에는 추가 자원이 필요 없으며, 각 관측치에 대해 선형 시간, 일정한 메모리 공간을 요구한다.

실험 결과

연구 질문

• RQ1 순차 비모수적 검정이 점근적 정규 근사에 의존하지 않고도 유한 표본 내 제1종 오류 통제를 달성할 수 있는가?
• RQ2 사전 지식 없이도 문제의 난이도에 적응적으로 정지 시기를 조절할 수 있는가?
• RQ3 순차 검정의 유한 표본 검정력은 배치 검정과 비교해 어떻게 되는가?
• RQ4 반복로그 로그 법칙을 사용하여 고차원 또는 비모수적 설정에서 순차 검정에 대한 점근적이지 않은 균일한 경계를 유도할 수 있는가?
• RQ5 순차 검정의 정지 시기는 진짜 신호 강도를 얼마나 잘 반영하는가? 최적의 배치 표본 추출과 비교해 볼 때 어떻게 되는가?

주요 결과

• 유한 표본 LIL 경계를 사용하여 모든 정지 시점에서 제1종 오류를 균일하게 통제하며, 점근적 정규성에 의존하지 않는다.
• 선형 시간 배치 검정과 거의 최적의 검정력을 달성하며, 검정력 손실은 작은 상수 요인으로 제한된다.
• 정지 시기는 알려지지 않은 문제 난이도에 적응하며, 제2종 오류가 0에 수렴할 때만 발산한다(즉, 검정력이 1에 수렴함).
• 비모수적 두 표본 평균 검정에 대해, 본 논문은 처음으로 유한 표본 검정력 분석과 점근적이지 않은 정지 시기 계산을 제공한다.
• 검정 통계량의 농도 비율이 이론적 LIL 한계에 정확히 도달하는 최적의 농도 비율인 $ Oig(ig( ext{Var}_n ig) ext{ln ln} rac{ ext{Var}_n}{ heta}ig)^{1/2} $을 달성한다.
• 시뮬레이션 결과는 예측된 제1종 및 제2종 오류율, 정지 시기와 실제 성능 간의 밀도가 높게 일치함을 확인한다.