[논문 리뷰] Generic E-Variables for Exact Sequential k-Sample Tests that allow for Optional Stopping

Rosanne Turner, Alexander Ly외 1명|arXiv (Cornell University)|2021. 06. 04.

Statistical Methods in Clinical Trials인용 수 4

한 줄 요약

이 논문은 선택적 정지 및 계속 수집 조건 하에서도 유형 I 오류 통제를 유지하는 정확하고 비점근적인 k표본 순차 검정을 위한 일반적인 E-변수를 제안한다. 블록 단위로 E-변수를 구성하고 이를 검정 마팅게일에 곱하여, 다양한 샘플링 설계에서 유효한 추론을 보장하며, 상대적 GRO 사전 분포를 사용할 경우 대립가설 하에서 최적의 성장 특성을 확보한다. 이는 p-값 방법보다 조기 정지를 허용하는 경우에 우월하며, 오류 보장을 유지한다.

ABSTRACT

We develop E-variables for testing whether two or more data streams come from the same source or not, and more generally, whether the difference between the sources is larger than some minimal effect size. These E-variables lead to exact, nonasymptotic tests that remain safe, i.e. keep their type-I error guarantees, under flexible sampling scenarios such as optional stopping and continuation. In special cases our E-variables also have an optimal 'growth' property under the alternative. While the construction is generic, we illustrate it through the special case of k x 2 contingency tables, where we also allow for the incorporation of different restrictions on a composite alternative. Comparison to p-value analysis in simulations and a real-world example show that E-variables, through their flexibility, often allow for early stopping of data collection, thereby retaining similar power as classical methods, while also retaining the option of extending or combining data afterwards.

연구 동기 및 목표

• 선택적 정지 및 계속 수집이 가능한 다양한 샘플링 설계 하에서도 유효한 정확하고 비점근적인 k표본 비교를 위한 귀무가설 검정 방법 개발.
• 관측 결과에 기반한 데이터 수집 전략의 변화가 있어도 정지 규칙에 관계없이 유형 I 오류 통제 보장.
• 모든 지수족 및 발산 측도에 적용 가능한 일반적인 E-변수 구성 방법 제공로 광범위한 적용 가능성 확보.
• 특히 k×2 카이서열 표본 표기에서 대립가설 하에서의 성장률 최적화를 위한 GRO(성장률 최적) 사전 분포를 통한 검정력 최적화.
• 시뮬레이션과 실제 사례를 통해 E-변수가 기존 p-값 방법과 유사한 검정력으로 조기 정지를 가능하게 하며, 이는 전통적인 p-값 방법보다도 뛰어난 성능을 보임을 입증.

제안 방법

• 두 개 이상의 그룹에서 구성된 단일 블록 데이터에 대해 귀무가설 하에서 E[s] ≤ 1을 만족하는 E-변수를 구성.
• 블록 E-변수를 순차 데이터로 확장하기 위해 이를 검정 마팅게일에 곱함으로써, 선택적 정지 조건 하에서도 유효한 E-변수가 유지됨.
• 대립가설 공간에 대한 사전 분포를 정의하여 E-변수를 설정하며, 이 선택은 검정력에 영향을 주지만, 유형 I 오류 통제에는 영향을 주지 않음.
• 대립가설 하에서 기대 성장률을 최대화하는 것을 목표로 상대적 GRO(상대적 성장률 최적성) 기준을 활용해 사전 분포를 선택.
• k×2 카이서열 표본 표기에서, 공액 사전 분포와 블록 단위 샘플링을 기반으로 E-변수를 유도하며, 효과 크기 δ에 대한 제약 조건을 도입 가능.
• E-값을 검정 통계량으로 사용: E-값의 누적곱이 1/α를 초과하면 귀무가설 기각. 이는 수준 α 오류 통제 보장.

실험 결과

연구 질문

• RQ1 선택적 정지 조건 하에서도 유형 I 오류 통제를 유지하는 일반적인 E-변수를 k표본 순차 검정에 적용할 수 있는가?
• RQ2 대립가설 공간에 대한 사전 분포 선택이 순차 검정에서 E-변수의 성장률과 검정력에 어떤 영향을 미치는가?
• RQ3 선택적 정지가 적용될 경우 E-변수가 p-값보다 조기 정지와 검정력 측면에서 어떻게 뛰어나게 되는가?
• RQ4 특히 k×2 카이서열 표본 표기에서 E-변수가 대립가설 하에서 최적의 성장률을 가지도록 구성할 수 있는가?
• RQ5 Gunel-Dickey 베이즈 요인에 기반한 E-변수가 귀무가설 하에서 유효한 E-변수로 간주될 수 있는가? 만약 그렇지 않다면 그 이유는 무엇인가?

주요 결과

• 블록 단위 곱셈 방식으로 구성된 E-변수들은 선택적 정지 조건 하에서도 유형 I 오류 통제를 유지하며, 과거 결과에 기반한 데이터 수집 전략 변화에도 불구하고 유효하다.
• 시뮬레이션 결과, E-변수들은 Fisher의 정확 검정과 유사한 검정력으로 조기 정지를 가능하게 하며, 선택적 정지 조건 하에서 p-값 방법이 보이는 과도한 유형 I 오류를 피함을 확인.
• 균일 사전 분포(β = 1/2)를 사용한 독립적 다항분포 샘플링 설계에서의 E-변수들은 귀무가설 하에서 E[s] ≤ 1을 유지하며, E-변수 조건을 충족함.
• 포isson 샘플링 설계에 대한 Gunel-Dickey 베이즈 요인은 E-변수가 아니며, λ ≥ 1일 경우 귀무가설 하에서 기대값이 1을 초과함.
• 독립적 다항분포의 경우, 수치 시뮬레이션을 통해 다양한 θ 및 n_g 조건에서 베이즈 요인의 기대값이 귀무가설 하에서 1을 초과함을 확인하여, 이는 E-변수로 간주될 수 없음을 입증.
• 선택적 정지 조건 하에서 E-변수의 유형 I 오류율은 α = 0.05로 유한하게 유지되며, 반면 Fisher의 p-값 방법은 시간이 지남에 따라 오류율이 급격히 증가함.