[논문 리뷰] Rate optimal multiple testing procedure in high-dimensional regression

Pengsheng Ji, Zhigen Zhao|arXiv (Cornell University)|2014. 04. 10.

Statistical Methods and Inference참고 문헌 23인용 수 12

한 줄 요약

이 논문은 희귀하고 약한 신호를 가진 고차원 선형 회귀에서 선택 일致성이 확보되지 않는 상황에 대해 단변량 페널티 검정(UPT) 방법을 제안한다. UPS 프레임워크를 가중 히든 손실을 사용한 다중 검정에 적용함으로써, UPT는 점 渐차적으로 근방 거짓 발견률(mFDR)을 통제하고, 근방 거짓 미발견률(mFNR)에 대해 최적 수렴 속도를 달성하며, 희박하고 약한 신호 환경에서 BH 및 BY 절차보다 검정력과 오류 통제에서 뛰어난 성능을 보인다.

ABSTRACT

In the high dimensional regression analysis when the number of predictors is much larger than the sample size, an important question is to select the important variable which are relevant to the response variable of interest. Variable selection and the multiple testing are both tools to address this issue. However, there is little discussion on the connection of these two areas. When the signal strength is strong enough such that the selection consistency is achievable, it seems to be unnecessary to control the false discovery rate. In this paper, we consider the regime where the signals are both rare and weak such that the selection consistency is not achievable and propose a method which controls the false discovery rate asymptotically. It is theoretically shown that the false non-discovery rate of the proposed method converges to zero at the optimal rate. Numerical results are provided to demonstrate the advantage of the proposed method.

연구 동기 및 목표

• 희귀하고 약한 신호를 가진 고차원 회귀에서 선택 일치성이 실패하는 상황에서 다중 검정의 최적성 이론의 부재를 해결한다.
• 약한 신호 조건 하에서 근방 거짓 발견률(mFDR)을 통제하면서 근방 거짓 미발견률(mFNR)을 최소화하는 방법을 개발한다.
• 유형 I 및 유형 II 오류를 다르게 처리하는 가중 히든 손실을 정의함으로써 변수 선택과 다중 검정 간 격차를 메운다.
• mFDR 통제 하에서 mFNR 수렴 속도에 대한 이론적 하한을 설정하고, UPT가 이 최적 속도를 달성함을 증명한다.
• 다양한 설계에서 BH, BY 및 UPT*에 비해 UPT의 우수한 실증 성능을 입증한다. 특히 검정력과 오류율 통제 측면에서 슈퍼리어한 성능을 보인다.

제안 방법

• 가중 히든 손실 함수를 사용해 단변량 페널티 스크리닝(UPS) 방법을 다중 검정에 적응시킨다. 이 손실 함수는 거짓 발견과 미발견에 대해 서로 다른 가중치를 적용한다.
• t통계량을 활용해 유형 I 및 유형 II 오류의 트레이드오���을 균형 잡는 데이터 기반의 가중치 추정 절차를 도입한다.
• 검정 결정을 가중 히든 오차를 최소화하는 문제로 재구성함으로써, 검정 통계량과 추정 가중치에 기반한 임계값 규칙을 도출한다.
• UPT 절차가 점 渐차적으로 mFDR을 수준 α에서 통제하고, 희귀/약한 모델 하에서 mFNR의 최적 수렴 속도를 달성함을 증명한다.
• 비점근 분석 프레임워크를 사용해 유한 표본 성능의 경계를 유도하고, 비정규 설계 하에서도 강인함을 검증한다.
• 두 단계 추정 절차를 구현한다. 먼저 피лот 단계를 통해 가중치를 추정하고, 그 다음 임계값 규칙을 적용해 유의미한 예측 변수를 선별한다.

실험 결과

연구 질문

• RQ1 희귀하고 약한 신호를 가진 고차원 회귀에서 고정된 근방 거짓 발견률(mFDR) 제약 조건 하에서 근방 거짓 미발견률(mFNR)의 최적 달성 수렴 속도는 무엇인가?
• RQ2 mFDR 통제를 유지하면서 이 최적 mFNR 수렴 속도를 달성하는 다중 검정 절차를 구성할 수 있는가?
• RQ3 희박하고 약한 신호 환경에서 기존 절차인 BH 및 BY에 비해 제안된 방법의 검정력과 오류율 통제 측면에서 성능은 어떠한가?
• RQ4 설계 행렬이 비정규적이거나 꼬리가 무거운 경우에도 방법이 강인한가?
• RQ5 비점근 프레임워크 하에서 이론적 최적성은 어떻게 확립할 수 있으며, 필요한 기술적 조건은 무엇인가?

주요 결과

• 모든 시뮬레이션 설정, 비정규 설계를 포함하여 UPT는 명목 수준 α에서 근방 거짓 발견률(mFDR)을 통제하지만, BH 및 BY는 이 통제를 유지하지 못한다.
• 비정규 설계를 가진 실험 4에서, τp=8일 때 UPT는 평균 진짜 양성(true positive, atp)이 37.15를 기록했고, BH는 31.48이었으며, 이는 검정력이 5.67 증가한 것이다.
• UPT*와 BH의 mFDR을 동일하게 맞춘 상황에서, τp=8일 때 UPT*는 47.24개의 진짜 양성을 기록했고, BH는 31.48개였으며, 이는 15.76개의 신호 발견 우위를 확보했다.
• UPT는 이론적 하한과 정확히 일치하는 mFNR 수렴 속도를 달성했으며, 이는 희귀/약한 신호 환경 하에서 수렴 속도 최적성임을 증명한다.
• 모든 실험에서 UPT는 mFDR을 통제하였으며, 중앙값 mFDR이 0.06–0.07 수준을 유지했고, 특히 약한 신호 조건에서 BH의 0.10–0.20 수준보다 유의미하게 낮았다.
• 비정규 설계에 대해 강인함을 입증했으며, 실험 4에서 UPT는 설계 행렬이 균일 분포에서 추출된 경우에도 강력한 성능을 유지했다.