[논문 리뷰] True and false discoveries with independent and sequential e-values

Vladimir Vovk, Ruodu Wang|arXiv (Cornell University)|2020. 03. 01.

Statistical Methods in Clinical Trials참고 문헌 6인용 수 4

한 줄 요약

이 논문은 독립적인 e-값과 U₂ e-병합 함수(쌍별 곱의 합)를 사용하는 새로운 발견 행렬 알고리즘을 제안한다. 이는 기존의 p-값 또는 산술 평균(U₁) 기반 방법에 비해 거짓 발제 제어와 통계적 검정력에서 뚜렷한 향상을 이룬다. 이 방법은 e-값의 상대 분산을 활용하여 참 발제를 보다 잘 탐지하면서도 강력한 빈도주의 오류 통제를 유지한다. 시뮬레이션과 이론적 분석에서 이전 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper we use e-values in the context of multiple hypothesis testing assuming that the base tests produce independent, or sequential, e-values. Our simulation and empirical studies and theoretical considerations suggest that, under this assumption, our new algorithms are superior to the known algorithms using independent p-values and to our recent algorithms designed for e-values without the assumption of independence.

연구 동기 및 목표

• 독립적인 e-값 조건 하에서 더 강력하고 신뢰할 수 있는 다중 가설 검정 방법을 개발하기 위해.
• 산술 평균(U₁) 또는 p-값에 의존하는 기존의 e-값 기반 발견 절차를 개선하기 위해.
• 강력한 오류 통제를 유지하면서 참 발제 탐지 능력을 극대화하는 계산 효율성이 높은 발견 행렬 알고리즘을 설계하기 위해.
• 이론적 및 실증적으로 U₂가 U₁ 및 p-값 기반 방법보다 거짓 발제 제어에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이 방법은 e-값 간의 모든 쌍별 곱의 평균으로 정의된 U₂ e-병합 함수를 사용하여 독립적인 검정들 간의 증거를 통합한다.
• 알고리즘 1을 통해 발견 행렬이 구성되며, 이는 상위 j개의 귀무가설들 중 r개의 부분집합에 대해 U₂ 값의 최소값을 기반으로 임계값 D_{r,j}를 계산한다.
• U₂의 e-변수 성질이 독립성 하에서 유지되므로, 어떤 기초 확률 측도에 대해서도 유효성이 보장된다.
• U₂ 값에 기반하여 색상 척도(초록에서 검정)에 따라 증거 강도를 캘리브레이션하며, 이는 r개의 기각에서 최소한 j개의 참 발제가 존재할 가능성을 반영한다.
• e-값의 분산 구조를 활용하여 상대 분산 rvar(e)를 통해 e-값 프레임워크를 일반화한다.
• e-값에서 p-값으로의 캘리브레이션을 적용하여 기존의 GWGS와 같은 고전적 방법과 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 U₂ 기반의 발견 행렬이 기존 방법에 비해 참 발제 탐지 능력과 거짓 발제 제어 측면에서 뛰어나다고 할 수 있는가?
• RQ2 독립적인 e-값 조건 하에서 U₂의 성능은 U₁(산술 평균) 및 p-값 기반 절차와 비교해 어떻게 되는가?
• RQ3 e-값의 상대 분산과 U₂ 기반 발견 행렬의 성능 사이의 이론적 관계는 무엇인가?
• RQ4 U₂ 기반 방법은 강력한 오류 통제를 유지하면서도 참 발제에 대해 더 강력한 증거를 제공할 수 있는가?

주요 결과

• U₂ 기반의 발견 행렬은 시뮬레이션 연구에서 U₁ 기반 및 p-값 기반 방법보다 뛰어난 성능을 보이며, 특히 더 강력한 증거를 가진 참 발제를 탐지하는 데 뛰어나다.
• e-값이 동일할 경우 U₂ 공식 U₂(e) = M₁²(1 − rvar(e)) 덕분에 행렬 항목의 제곱 향상이 달성된다.
• 상대 분산 rvar(e)는 e-값의 다양성을 측정하며, rvar(e)가 증가할수록 성능은 저하되지만 독립성 조건 하에서는 여전히 강인하다.
• e-에서 p-값으로의 캘리브레이션 후, U₂ 기반의 p-값은 p-값 전용으로 설계된 GWGS 절차보다 더 강력한 증거(예: 더 많은 검은색/진한 빨간색 항목)를 보여준다.
• U₂에 대해 알고리즘은 O(K⁵) 시간에 실행되며, 이는 직접 계산 방식인 O(K⁶)에 비해 계산적으로 가능하고 훨씬 빠르다.
• 이론적 분석을 통해 U₂는 독립성 하에서 유효한 ie-병합 함수임이 확인되었으며, e-값이 이질적일 경우 U₁보다 참 발제 탐지 능력에서 열등하지 않다.