[논문 리뷰] Asymptotic Bayes optimality under sparsity for generally distributed effect sizes under the alternative

Florian Frommlet, Arijit Chakrabarti외 2명|arXiv (Cornell University)|2010. 05. 26.

Statistical Methods in Clinical Trials참고 문헌 12인용 수 11

한 줄 요약

이 논문은 비정규 효과 크기 분포를 가진 다중 검정 상황에서 희소성 하에서의 점근적 베이즈 최적성(ABOS)을 확장하며, 표본 크기 $ n $ 이 최소 $ \log m $ 의 속도로 증가할 경우 베르프로니 보정과 벤자민-호크베르그 절차가 점근적으로 베이즈 최적임을 보여준다. 핵심 결과는 $ n \propto \log m $ 일 때, 베르프로니의 경우 $ \alpha $ 가 고정되고 BH의 경우 희소성에 적응적으로 조정되는 조건에서 최적성을 확립한다. 이는 알려지지 않은 효과 크기 분포를 가진 이중 모델 하에서 성립한다.

ABSTRACT

Recent results concerning asymptotic Bayes-optimality under sparsity (ABOS) of multiple testing procedures are extended to fairly generally distributed effect sizes under the alternative. An asymptotic framework is considered where both the number of tests m and the sample size m go to infinity, while the fraction p of true alternatives converges to zero. It is shown that under mild restrictions on the loss function nontrivial asymptotic inference is possible only if n increases to infinity at least at the rate of log m. Based on this assumption precise conditions are given under which the Bonferroni correction with nominal Family Wise Error Rate (FWER) level alpha and the Benjamini- Hochberg procedure (BH) at FDR level alpha are asymptotically optimal. When n is proportional to log m then alpha can remain fixed, whereas when n increases to infinity at a quicker rate, then alpha has to converge to zero roughly like n^(-1/2). Under these conditions the Bonferroni correction is ABOS in case of extreme sparsity, while BH adapts well to the unknown level of sparsity. In the second part of this article these optimality results are carried over to model selection in the context of multiple regression with orthogonal regressors. Several modifications of Bayesian Information Criterion are considered, controlling either FWER or FDR, and conditions are provided under which these selection criteria are ABOS. Finally the performance of these criteria is examined in a brief simulation study.

연구 동기 및 목표

• 효과 크기가 정규 분포가 아닐 경우에도 점근적 베이즈 최적성 하에서의 희소성(ABOS)을 다중 검정 절차로 확장하는 것.
• 베르프로니와 벤자민-호크베르그(BH)와 같은 고전적 절차가 일반적인 효과 크기 분포를 가진 고차원 희소 설정에서 ABOS를 달성하는 정확한 조건을 규명하는 것.
• 표본 크기 $ n $ 과 희소성 수준 $ p \propto m^{-\beta} $ 가 비틀림 없는 점근적 추론과 최적성을 가능하게 하는 역할을 하는지 규명하는 것.
• 직교 회귀자들을 가진 다중 회귀에서의 모델 선택에 대해 수정된 BIC 기준을 사용하여 ABOS 결과를 확장하는 것. 이 기준은 FWER 또는 FDR 를 통제한다.
• 다양한 희소성 수준과 표본 크기에서의 오분류율, FDR, 검정력의 변화를 고려한 시뮬레이션 연구를 통해 이론적 결과를 검증하는 것.

제안 방법

• 테스트 수 $ m $ 와 표본 크기 $ n $ 이 모두 무한대로 갈 때의 점근적 프레임워크를 사용하며, 희소성 $ p \to 0 $ 이고, 비틀림 없는 추론을 위해 $ n \propto \log m $ 이라고 가정한다.
• 효과 크기 $ \mu_i $ 가 대안 하에서 고정된 분포 $ \nu(\mu) $ 에서 추출되는 이중 모델을 적용하며, 일반적인(비정규) 분포를 允허한다.
• 극단가치 이론과 가우시안 근사 기법을 사용하여 검정 통계량의 꼬리 행동을 분석함으로써 유형 I 및 유형 II 오류 확률의 점근적 행동을 도출한다.
• 특정 조건 하에서 절차의 베이즈 위험과 베이즈 오라클의 위험 비율이 1로 수렴함을 보여, ABOS 를 확립한다. 이 조건은 $ \alpha $, $ p $, $ \nu(\mu) $ 에 대해 명시되어 있다.
• 직교 설계 하에서 다중 회귀에 대해 ABOS 프레임워크를 확장하며, FWER 또는 FDR 을 통제하는 수정된 BIC 기준을 분석한다.
• 오분류 확률, FDR, 통계적 검정력을 고려한 시뮬레이션 연구를 수행하여 다양한 희소성 수준과 표본 크기에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 효과 크기가 일반적으로 분포되어 있고 반드시 정규 분포가 아닐 경우, 베르프로니 보정이 점근적으로 베이즈 최적일 조건은 무엇인가?
• RQ2 벤자민-호크베르그 절차는 일반적인 효과 크기 분포 하에서도 점근적으로 베이즈 최적성을 유지할 수 있으며, 알려지지 않은 희소성 수준에 어떻게 적응하는가?
• RQ3 희소 고차원 검정에서 비틀림 없는 점근적 추론이 가능하게 하는 표본 크기 $ n $ 이 $ m $ 에 대해 최소한의 성장률은 무엇인가?
• RQ4 $ n \propto \log m $ 과 더 빠른 성장률일 경우, 명목 오류 수준 $ \alpha $ 의 선택이 점근적 최적성에 미치는 영향은 어떠한가?
• RQ5 직교 회귀자들을 가진 고차원 회귀에서 FWER 또는 FDR 을 통제하는 수정된 BIC 기준은 모델 선택에 대해 점근적으로 베이즈 최적인가?

주요 결과

• 베르프로니 보정은 $ p \propto m^{-1} $ 이고 손실 비율 $ \delta \to 0 $ 이 $ \log \delta = o(\log m) $ 의 속도로 감소할 때, $ \alpha $ 가 고정된 상태에서 점근적으로 베이즈 최적(ABOS)이다.
• 벤자민-호크베르그 절차는 동일한 조건 하에서 ABOS이며, 알려지지 않은 희소성 수준에 잘 적응하여 $ p \propto m^{-\beta} $ 이고 $ \beta < 1 $ 일 때도 최적성을 유지한다.
• 비틀림 없는 점근적 추론은 $ n \to \infty $ 가 최소한 $ \log m $ 의 속도로 증가할 때만 가능하며, 이 조건 하에서 $ \alpha $ 는 $ n \propto \log m $ 일 때 고정될 수 있다.
• 표본 크기 $ n $ 이 $ \log m $ 보다 더 빠르게 증가할 경우, 두 절차 모두 ABOS 유지하기 위해 $ \alpha $ 는 약 $ n^{-1/2} $ 의 속도로 0으로 수렴해야 한다.
• 직교 설계 하에서 다중 회귀의 모델 선택에 대해 FWER 또는 FDR 을 통제하는 수정된 BIC 기준은 $ n $, $ m $, $ \alpha $ 에 대한 유사한 조건 하에서 ABOS이다. 이는 $ \alpha $ 의 변화 속도에 유사한 의존성을 보인다.
• 시뮬레이션 결과는 베르프로니와 BH 모두 다양한 희소성 수준에서 낮은 오분류율과 통제된 FDR을 유지하며, 특히 희소한 설정에서 BH 가 뛰어난 검정력을 보임을 확인한다.