[논문 리뷰] Power of FDR Control Methods: The Impact of Ranking Algorithm, Tampered Design, and Symmetric Statistic

Zheng Tracy Ke, Jun S. Liu외 1명|arXiv (Cornell University)|2020. 10. 16.

Statistical Methods in Clinical Trials참고 문헌 24인용 수 7

한 줄 요약

이 논문은 희귀/약한 신호 모델 하에서 FDR 제어 방법—특히 노크오프 필터와 가우시안 미러—의 검정력을 이론적으로 분석한다. 대칭 통계량의 선택이 검정력에 결정적인 영향을 미치며, 노크오프에서 노이즈를 추가해도 검정력 손실가 최소화되며, 설계의 희소성에 따라 성능이 다름을 보여준다: 극도로 희소한 벡터에서는 노크오프가 더 우수하고, 중간 정도로 희소한 벡터에서는 가우시안 미러가 뛰어난 성능을 보인다.

ABSTRACT

As the power of FDR control methods for high-dimensional variable selections has been mostly evaluated empirically, we focus here on theoretical power analyses of two recent such methods, the knockoff filter and the Gaussian mirror. We adopt the Rare/Weak signal model, popular in multiple testing and variable selection literature, and characterize the rate of convergence of the number of false positives and the number of false negatives of FDR control methods for particular classes of designs. Our analyses lead to several noteworthy discoveries. First, the choice of the symmetric statistic in FDR control methods crucially affects the power. Second, with a proper symmetric statistic, the operation of adding noise to achieve FDR control yields almost no loss of power compared with its prototype, at least for some special classes of designs. Third, the knockoff filter and Gaussian mirror have comparable power for orthogonal designs, but they behave differently for non-orthogonal designs. We study the block-wise diagonal designs and show that the knockoff filter has a higher power when the regression coefficient vector is extremely sparse, and the Gaussian mirror has a higher power when the coefficient vector is moderately sparse.

연구 동기 및 목표

• 고차원 변수 선택에서 FDR 제어 방법의 검정력을 이론적으로 분석하는 것.
• 설계의 구조—특히 희소성과 직교성—이 방법의 성능에 미치는 영향을 조사하는 것.
• 대칭 통계량의 선택과 노이즈 주입이 FDR 제어에서 검정력에 미치는 영향을 평가하는 것.
• 특히 블록 대각 설계에서 노크오프 필터와 가우시안 미러를 다양한 설계 클래스와 비교하는 것.
• 희귀/약한 신호 모델 하에서 거짓 양성과 거짓 음성의 수렴 속도를 특성화하는 것.

제안 방법

• 연구는 고차원 다중 검정의 이론적 프레임워크로 희귀/약한 신호 모델을 사용한다.
• 특정 설계 클래스에 대해 FDR 제어 하에서 거짓 양성 및 거짓 음성 수의 수렴 속도를 분석한다.
• FDR 절차에서 사용되는 대칭 통계량이 검정력에 미치는 영향을 공식적으로 검토하며, 그 영향의 이론적 유도를 수행한다.
• 직교 및 비직교 설계에 중점을 두어 노크오프 필터와 가우시안 미러 간의 이론적 비교를 수행한다.
• 노크오프 필터에서의 노이즈 주입 효과를 분석하여 원래 방법 대비 검정력에 미치는 영향을 평가한다.
• 구조적 상관관계를 모델링하기 위해 블록 대각 설계를 사용하며, 계수 벡터의 다양한 희소 수준에서 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 환경에서 FDR 제어 방법의 검정력에 대칭 통계량의 선택이 어떻게 영향을 미치는가?
• RQ2 원래 방법에 비해 FDR 제어를 달성하기 위해 노이즈를 추가하는 데서 발생하는 검정력 손실의 이론적 비용은 얼마인가?
• RQ3 직교 설계와 비직교 설계에서 노크오프 필터와 가우시안 미러의 검정력은 어떻게 비교되는가?
• RQ4 구조적 설계에서 FDR 방법의 성능은 회귀 계수 벡터의 희소 수준에 따라 달라지는가?
• RQ5 특정 설계 클래스에 대해 FDR 제어 하에서 거짓 양성 및 거짓 음성 수의 수렴 속도는 무엇인가?

주요 결과

• 대칭 통계량의 선택은 FDR 제어 방법의 검정력에 결정적인 영향을 미치며, 최적의 선택은 탐지 능력을 크게 향상시킨다.
• FDR 제어를 달성하기 위해 노이즈를 추가하는 것은 원래 방법에 비해 거의 검정력 손실이 없음을 보여주며, 특히 특정 특수 설계 클래스에서는 더욱 그렇다.
• 직교 설계에서는 노크오프 필터와 가우시안 미러가 유사한 검정력을 보이며, 이상적인 조건에서 유사한 성능를 나타낸다.
• 블록 대각 설계에서는 계수 벡터가 극도로 희소할 경우 노크오프 필터가 가우시안 미러를 능가한다.
• 동일한 블록 대각 설계에서 계수 벡터가 중간 정도로 희소할 경우 가우시안 미러가 노크오프 필터보다 더 높은 검정력을 확보한다.