[논문 리뷰] A Power Analysis for Knockoffs with the Lasso Coefficient-Difference Statistic

Asaf Weinstein, Weijie Su외 3명|arXiv (Cornell University)|2020. 07. 30.

Random Matrices and Applications참고 문헌 24인용 수 17

한 줄 요약

이 논문은 고차원 선형 모델에서 변수 선택을 위한 노크오프 캘리브레이션된 임계값 Lasso 방법을 제안하며, 근사 메시지 전달(AMP) 이론을 활용해 사전 신호 지식 없이도 거짓 발견률(FDR)을 제어한다. 이 방법은 증강된 데이터 행렬에 대해 교차검증을 통해 $\lambda$를 선택할 경우 기존 Lasso보다 진짜 양성 비율이 크게 향상됨을 보여준다.

ABSTRACT

In a linear model with possibly many predictors, we consider variable selection procedures given by $$ \{1\leq j\leq p: |\widehat{\beta}_j(\lambda)| > t\}, $$ where $\widehat{\beta}(\lambda)$ is the Lasso estimate of the regression coefficients, and where $\lambda$ and $t$ may be data dependent. Ordinary Lasso selection is captured by using $t=0$, thus allowing to control only $\lambda$, whereas thresholded-Lasso selection allows to control both $\lambda$ and $t$. The potential advantages of the latter over the former in terms of power---figuratively, opening up the possibility to look further down the Lasso path---have been quantified recently leveraging advances in approximate message-passing (AMP) theory, but the implications are actionable only when assuming substantial knowledge of the underlying signal. In this work we study theoretically the power of a knockoffs-calibrated counterpart of thresholded-Lasso that enables us to control FDR in the realistic situation where no prior information about the signal is available. Although the basic AMP framework remains the same, our analysis requires a significant technical extension of existing theory in order to handle the pairing between original variables and their knockoffs. Relying on this extension we obtain exact asymptotic predictions for the true positive proportion achievable at a prescribed type I error level. In particular, we show that the knockoffs version of thresholded-Lasso can perform much better than ordinary Lasso selection if $\lambda$ is chosen by cross-validation on the augmented matrix.

연구 동기 및 목표

• 고차원 선형 모델에서 기저 신호에 대한 사전 지식 없이도 거짓 발견률(FDR)을 제어하는 변수 선택 절차를 개발하는 것.
• 근사 메시지 전달(AMP) 이론을 원본 변수와 그에 대응하는 노크오프 변수 간의 쌍을 고려하여 확장하는 것.
• 고정된 제1종 오류 수준에서 노크오프 기반 임계값 Lasso의 통계적 검정력을 진짜 양성 비율 측면에서 정량화하는 것.
• 증강된 데이터 행렬(원본 + 노크오프 변수)에 대해 교차검증을 수행할 경우 표준 Lasso보다 우수한 성능을 보이는 것을 입증하는 것.

제안 방법

• 이 방법은 임계값 Lasso 선택 규칙을 사용한다: 변수의 Lasso 계수 절댓값이 데이터에 의존하는 임계값 $t$를 초과할 경우에 선택된다. 정규화 파라미터 $\lambda$는 교차검증을 통해 조정된다.
• 노크오프 캘리브레이션 절차를 도입하여 원본 예측 변수와 짝을 이룬 합성 변수를 생성함으로써 FDR 제어를 보장한다.
• 분석은 고차원 점근적 조건 하에서 원본 및 노크오프 변수의 공동 행동을 모델링하기 위해 근사 메시지 전달(AMP) 이론의 확장에 기반한다.
• 핵심 통계량은 원본 변수와 노크오프 변수 간의 계수 차이로, 이는 FDR 제어를 유지하면서 기능을 순위 매기고 선택하는 데 사용된다.
• 이 방법은 원본 예측 변수 행렬에 노크오프 변수를 첨부하여 형성된 증강 설계 행렬을 대상으로 작동한다.
• 난수 설계와 i.i.d. 가우시안 잡음 조건 하에서 고차원 점근적 조건 하에서 진짜 양성 비율에 대한 점근적 예측을 확장된 AMP 프레임워크를 사용해 유도한다.

실험 결과

연구 질문

• RQ1 노크오프 캘리브레이션된 임계값 Lasso 선택이 고차원 환경에서 기존 Lasso보다 더 높은 통계적 검정력을 달성할 수 있는가?
• RQ2 특히 증강된 행렬에 대해 교차검증을 통해 선택된 $\lambda$의 선택이 진짜 양성 비율과 FDR 제어에 어떤 영향을 미치는가?
• RQ3 고정된 제1종 오류 비율에서 노크오프 기반 임계값 Lasso의 점근적 성능은 진짜 양성 비율 측면에서 어떻게 나타나는가?
• RQ4 원본 변수와 노크오프 변수 간의 쌍 구조가 변수 선택 절차의 이론적 분석에 어떤 영향을 미치는가?
• RQ5 신호 구조에 대한 사전 지식 없이도 노크오프 기반 선택의 검정력을 어느 정도 향상시킬 수 있는가?

주요 결과

• 노크오프 캘리브레이션된 임계값 Lasso 방법은 증강된 데이터 행렬에 대해 교차검증을 통해 $\lambda$를 선택할 경우 기존 Lasso보다 진짜 양성 비율이 유의미하게 높아진다.
• 점근적 성능은 원본-노크오프 쌍을 고려한 확장된 근사 메시지 전달(AMP) 프레임워크를 사용해 이론적으로 특성화된다.
• 고차원 점근적 조건 하에서 진짜 양성 비율에 대한 정확한 점근적 예측이 도출되었으며, 이는 FDR 제어 변수 선택의 이론적 기준이 된다.
• 이 방법은 신호에 대한 사전 지식 없이도 FDR 제어를 가능하게 하여 실제 신호 구조가 알려지지 않은 환경에서도 적용 가능하다.
• 증강된 행렬에 대해 교차검증을 수행할 경우 표준 Lasso에 비해 검정력 향상이 뚜렷하게 나타나, 정규화 조정 과정에서 노크오프 정보를 활용하는 것이 유리함을 보여준다.
• 이론적 프레임워크는 임계값 Lasso에 노크오프 캘리브레이션을 적용할 경우 Lasso 경로를 더 깊이 탐색할 수 있어 표준 Lasso를 능가할 수 있음을 확인한다.