[논문 리뷰] Unification of Rare and Weak Detection Models using Moderate Deviations Analysis and Log-Chisquared P-values

Alon Kipnis|arXiv (Cornell University)|2021. 03. 06.

Probability and Risk Models인용 수 5

한 줄 요약

이 논문은 중도 이탈 분석과 로그카이제곱 P-값을 사용하여 희귀하고 약한 다중 검정 모델을 통합하며, 점근적 검정력이 바하두르의 로그정규 분포가 아닌 비중앙카이제곱 분포에 의해 가장 잘 기술됨을 보여준다. 이는 검출 가능 영역에서 버크-존슨 및 하이어 크리티시즘 검정이 점근적으로 최적임을 밝히며, 피셔의 방법과 FDR 제어와 같은 다른 검정들은 최적성이 떨어진다.

ABSTRACT

Rare and Weak models for multiple hypothesis testing assume that only a small proportion of the tested hypotheses concern non-null effects and the individual effects are only moderately large, so they generally do not stand out individually, for example in a Bonferroni analysis. Such models have been studied in quite a few settings, for example in some cases studies focused on an underlying Gaussian means model for the hypotheses being tested; in others, Poisson and Binomial. Such seemingly different models have the following common structure. Summarizing the evidence of individual tests by the negative logarithm of its P-value, the model is asymptotically equivalent to a situation in which most negative log P-values have a standard exponential distribution but a small fraction might have an alternative distribution which is approximately noncentral chisquared on one degree of freedom. We characterize the asymptotic performance of global tests combining asymptotic log-chisquared P-values in terms of the chisquared mixture parameters: the scaling parameter controlling heteroscedasticity, the non-centrality parameter, and the parameter controlling the rarity of individual non-null effects. In a phase space involving the last two parameters, we derive a region where all tests are asymptotically powerless. Outside of this region, the Berk-Jones and the Higher Criticism tests have maximal power. Inference techniques based on the minimal P-value, false-discovery rate controlling, and Fisher's combination test have sub-optimal asymptotic phase diagrams. Our analysis yields the asymptotic power of global testing in various new rare and weak models, including two-sample heteroscedastic normal mixtures and binomial experiments with perturbed probabilities of success.

연구 동기 및 목표

• 다양한 희귀하고 약한 다중 검정 모델(예: 가우시안, 포아송, 이항, 이분산 정규 혼합 등)을 하나의 점근적 프레임워크로 통합하는 것.
• 기존 방법의 한계, 특히 희귀하고 약한 신호에서 중도 이탈 척도에서 실패하는 바하두르의 로그정규 근사의 한계를 다루는 것.
• 혼합카이제곱 분포의 매개변수인 스케일링(이분산성), 비중앙성(효과 크기), 희소성(희귀성)을 기반으로 전역 검정의 점근적 검정력을 기술하는 것.
• 점근적 무력 영역과 검출 가능 영역을 식별하는 단계도표를 유도하는 것. 이 영역에서 하이어 크리티시즘 및 버크-존슨 검정이 최대 검정력을 달성한다.
• 새로운 희귀하고 약한 모델, 특히 이원정규 이분산 혼합 모델과 변형된 이항 실험에 대한 추론 절차의 校정을 안내하는 것.

제안 방법

• 희귀 중도 이탈 분포(RMD) 모델을 제안하여, 전역 귀무가설과 대립가설 하에서 P-값을 표준 지수분포와 비중앙카이제곱분포(1도)의 혼합으로 기술한다.
• 모든 신호가 희귀하고 약할 때도 유효한 점근적 성질을 확보하기 위해, √(q log n / n) 정도의 이탈을 중도 이탈 분석으로 모델링한다. 여기서 q > 0.
• 음의 로그 P-값에 대해 로그카이제곱 근사를 사용하며, 이는 이 영역에서 바하두르의 로그정규 근사보다 더 정확하다는 것을 보여준다.
• 전역 검정(예: 하이어 크리티시즘, 버크-존슨, 피셔의 방법, FDR 제어 절차 등)의 점근적 검정력을 이혼분포 매개변수인 σ²(이분산성), λ(비중앙성), π(희소성)로 유도한다.
• 효과 크기 β와 신호 강도 ρ를 고려한 단계 전이 곡선 ρ(β,σ)을 수립하여 점근적 무력 영역과 검출 가능 영역을 분리한다.
• 이 프레임워크를 새로운 모델, 특히 이원정규 이분산 혼합 모델과 성공 확률이 변형된 이항 실험에 적용하여 점근적 검정력 행동을 도출한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 생성 메커니즘을 가진 희귀하고 약한 다중 검정 모델에 대해 통합된 점근적 프레임워크를 개발할 수 있는가?
• RQ2 왜 이 규모에서 중도 이탈 척도에서 로그카이제곱 근사가 바하두르의 로그정규 근사보다 희귀하고 약한 신호의 검정력을 기술하는 데 더 우수한가?
• RQ3 희귀하고 약한 모델의 검출 가능 영역에서 어떤 전역 검정 절차가 점근적으로 최적이며, 그들의 단계도표는 어떻게 되는가?
• RQ4 이분산성과 신호의 희소성이 다중 검정 문제에서 검출 가능 임계값에 어떻게 동시에 영향을 미치는가?
• RQ5 이원정규 이분산 혼합 모델과 같은 새로운 희귀하고 약한 모델에서 피셔의 방법, FDR 제어, 최소 P-값 검정과 같은 표준 절차의 점근적 검정력은 무엇인가?

주요 결과

• RMD 모델 하에서 음의 로그 P-값에 대한 로그카이제곱 근사는 점근적으로 정확하며, 신호 탐지의 정보 이론적 한계를 제공한다.
• 버크-존슨 및 하이어 크리티시즘 검정은 단계공간의 검출 가능 영역에서 최대 점근적 검정력을 달성하며, 피셔의 방법과 FDR 제어 절차는 점근적으로 열등하다.
• 효과 크기 β와 이분산성 σ²에 따라 영향을 받는 단계 전이 곡선 ρ(β,σ)이 점근적 무력 영역과 검출 가능 영역을 분리한다.
• 이원정규 설정에서 동일분산성(σ=1)일 경우, 검출에는 일원정규 사례의 두 배의 효과 크기가 필요하지만, 과분산 또는 저분산일 경우 이 비율은 변한다.
• 이 프레임워크는 이원정규 이분산 혼합 모델과 성공 확률이 변형된 이항 실험과 같은 새로운 모델의 점근적 검정력을 성공적으로 기술한다.
• 앤더슨-더링 검정은 특히 희귀하고 약한 영역에서, 중앙이 아닌 카이제곱 모델이 정규 근사보다 더 우수한 적합도를 보임을 확인한다.