[논문 리뷰] Improving knockoffs with conditional calibration

Yixiang Luo, William Fithian외 1명|arXiv (Cornell University)|2022. 08. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 조건부 캘리브레이션을 통한 후속 테스팅 프레임워크를 통합함으로써 고차원 선형 모델에서 FDR 제어를 위한 노크오프 필터의 검정력(power)을 균일하게 향상시키는 校정된 노크오프(cKnockoff) 절차를 제안한다. 이는 비순수한 설정—특히 비순수 변수의 수가 $1/\alpha$에 가까울 때—에서 성능을 크게 향상시키며, 유한 표본 FDR 제어를 유지하면서도 어려운 상황에서 노크오프와 벤자민-호크베르그(Benjamini-Hochberg)를 모두 능가한다.

ABSTRACT

The knockoff filter of Barber and Candes (arXiv:1404.5609) is a flexible framework for multiple testing in supervised learning models, based on introducing synthetic predictor variables to control the false discovery rate (FDR). Using the conditional calibration framework of Fithian and Lei (arXiv:2007.10438), we introduce the calibrated knockoff procedure, a method that uniformly improves the power of any fixed-X or model-X knockoff procedure. We show theoretically and empirically that the improvement is especially notable in two contexts where knockoff methods can be nearly powerless: when the rejection set is small, and when the structure of the design matrix in fixed-X knockoffs prevents us from constructing good knockoff variables. In these contexts, calibrated knockoffs even outperform competing FDR-controlling methods like the (dependence-adjusted) procedure Benjamini-Hochberg in many scenarios.

연구 동기 및 목표

• 노크오프 필터에서 비순수 변수의 수가 $1/\alpha$ 이하일 때 검정력이 급격히 감소하는 '임계점 현상(threshold phenomenon)'을 해결하기 위해.
• 모든 노크오프 절차의 검정력을 균일하게 향상시키면서도 유한 표본 FDR 제어를 유지하는 방법을 개발하기 위해.
• 신호 강도가 낮거나 예측 변수의 설계 행렬에서 상관관계가 높은 설정에서 노크오프와 벤자민-호크베르그의 강력한 대안을 제공하기 위해.
• 실제 데이터에서 비순수 변수의 수가 제한적인 경우, 예를 들어 HIV 약물 내성 연구와 같이 노크오프 기반 추론을 실용적으로 구현할 수 있도록 하기 위해.

제안 방법

• cKnockoff 절차는 기초 노크오프 절차가 선택하지 않은 변수들에 대해 '후속 테스트'를 적용하여 기각 집합을 확장한다.
• Fithian과 Lei(2022)의 조건부 캘리브레이션 프레임워크를 사용하여 후속 테스트의 유의수준을 설정함으로써 FDR 제어를 위반하지 않는다.
• 후속 테스트는 노크오프 통계량에 대해 조건부로 캘리브레이션되며, 이로 인해 전체 절차가 수준 $\alpha$에서 유한 표본 FDR 제어를 유지한다.
• 고정된-$X$ 노크오프에 대해 효율적인 계산 기법(병렬 처리 및 최적화된 통계량 포함)을 사용하여 구현한다.
• 모형-$X$ 노크오프의 경우, 예측 변수의 공동 분포에 대한 가정이 다르므로 약간의 수정과 다른 계산 전략이 필요하다.
• 이 절차는 동일한 데이터와 가정 하에 모든 문제 설정에서 원래의 노크오프 필터보다 엄밀히 더 높은 검정력을 가지도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 유한 표본 FDR 제어를 유지하면서도 노크오프 필터의 검정력을 균일하게 향상시키는 방법을 개발할 수 있는가?
• RQ2 비순수 변수의 수가 $1/\alpha$에 가까울 때 노크오프의 성능이 어떻게 악화되는가? 그리고 이는 어떻게 완화될 수 있는가?
• RQ3 노크오프 통계량에 대해 조건부로 캘리브레이션된 후속 테스트는 FDR을 과도하게 증가시키지 않고도 발견력(power)을 향상시킬 수 있는가?
• RQ4 낮은 신호 강도 또는 높은 상관관계가 있는 비순수 설정에서 cKnockoff은 노크오프와 벤자민-호크베르그를 모두 능가하는가?
• RQ5 실제로 고차원 설정(예: HIV 약물 내성 분석)에서 cKnock오프 절차를 효율적으로 구현할 수 있는가?

주요 결과

• cKnockoff는 모든 문제 설정에서 원래의 노크오프 필터보다 검정력을 균일하게 향상시키며, 특히 노크오프가 거의 무력해지는 비순수 설정에서 가장 큰 성과를 보였다.
• α = 0.05일 때 HIV 약물 내성 데이터셋에서 노크오프는 거의 변수를 기각하지 못했지만, cKnockoff와 cKnockoff*는 상당한 수의 발견을 하였으며 노크오프를 크게 능가했다.
• cKnockoff는 TSM 패널과 비교해 더 높은 재현성(복제 가능성)을 보였으며, 약물 내성과 관련이 있는 것으로 알려진 돌연변이를 더 많이 특정했다.
• α = 0.2일 때도 cKnockoff는 노크오프가 더 이상 비효율적이지 않은 상황에서도 높은 검정력을 유지하여 다양한 FDR 수준에서의 강건성을 입증했다.
• cKnockoff의 계산 비용은 노크오프의 약간의 배수에 불과하며, 병렬 처리를 통해 가속화할 수 있어 실용적인 사용에 적합하다.
• 낮은 신호와 높은 상관관계가 있는 설정에서 cKnockoff는 노크오프와 벤자민-호크베르그를 모두 능가했으며, 특히 BH가 높은 가짜 발견 비율을 보일 때 두드러진 성능을 보였다.