[논문 리뷰] Parametric Programming Approach for More Powerful and General Lasso Selective Inference

Vo Nguyen Le Duy, Ichiro Takeuchi|arXiv (Cornell University)|2020. 04. 21.

Statistical Methods and Inference참고 문헌 49인용 수 11

한 줄 요약

이 논문은 Lasso 회귀에서 선택적 추론을 위한 매개변수 프로그래밍 기반 방법을 제안하며, 특성 기호에 대한 과도한 조건부 설정을 피함으로써 수천 개의 활성 특성이 있는 경우에도 강력하고 계산적으로 실현 가능한 추론을 가능하게 한다. 시험 통계량 방향을 따라 Lasso 해의 경로를 추적함으로써, 모든 기호 조합을 나열하지 않고도 관련된 선택 이벤트를 효율적으로 식별할 수 있으며, 기존 방법에 비해 통계적 검정력과 실용성을 크게 향상시킨다.

ABSTRACT

Selective Inference (SI) has been actively studied in the past few years for conducting inference on the features of linear models that are adaptively selected by feature selection methods such as Lasso. The basic idea of SI is to make inference conditional on the selection event. Unfortunately, the main limitation of the original SI approach for Lasso is that the inference is conducted not only conditional on the selected features but also on their signs -- this leads to loss of power because of over-conditioning. Although this limitation can be circumvented by considering the union of such selection events for all possible combinations of signs, this is only feasible when the number of selected features is sufficiently small. To address this computational bottleneck, we propose a parametric programming-based method that can conduct SI without conditioning on signs even when we have thousands of active features. The main idea is to compute the continuum path of Lasso solutions in the direction of a test statistic, and identify the subset of the data space corresponding to the feature selection event by following the solution path. The proposed parametric programming-based method not only avoids the aforementioned computational bottleneck but also improves the performance and practicality of SI for Lasso in various respects. We conduct several experiments to demonstrate the effectiveness and efficiency of our proposed method.

연구 동기 및 목표

• 기존 Lasso 선택적 추론 방법의 주요 한계인 특성 기호에 대한 과도한 조건부 설정으로 인한 통계적 검정력 감소 문제를 해결한다.
• 선택된 특성 수가 클 경우 $2^{| ext{active features}|}$개의 모든 기호 조합을 나열하는 데 계산적으로 비현실적인 문제를 해결한다.
• 정확한 제1종 오류 통제를 유지하면서도 통계적 검정력을 향상시키는 확장 가능한 선택적 추론 방법을 개발한다.
• 일반적으로 실무에서 발생하는 문제이지만 어려운 데이터 기반 정규화 파라미터 선택을 위한 교차검증을 통합할 수 있도록 프레임워크를 확장한다.
• 비정규 잡음과 알려지지 않은 분산 조건 하에서도 방법의 강건성을 입증하여 실제 응용 가능성을 보장한다.

제안 방법

• 시험 통계량의 방향을 따라 데이터 공간 내에서 Lasso 해의 경로를 매개변수 프로그래밍을 이용해 추적한다.
• 선택 이벤트를 활성 집합으로 정의된 다면체와 해의 경로의 교차로 특성화함으로써 모든 기호 조합의 나열을 피한다.
• 매개변수화된 직선과 교차하는 다면체의 부분집합만 식별함으로써 $2^{| ext{active features}|}$에 비해 평균적으로 훨씬 적은 영역을 평가 대상으로 줄인다.
• 해의 활성 집합이 경로를 따라 변화하는 것을 추적함으로써 시험 통계량의 절단 영역을 구성하고, 정확한 표본 분포 계산을 가능하게 한다.
• 교차검증 튜닝을 통합하기 위해 모든 가능한 CV 폴드와 파라미터 값에 대해 선택 이벤트를 다면체의 합집합으로 모델링한다.
• 합성 및 실제 고차원 데이터셋(최대 5,787개의 특성과 660개의 활성 특성을 가진 생물정보학 데이터 포함)에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 특성 기호에 대한 조건부 설정을 제거함으로써 Lasso에 대한 선택적 추론의 검정력을 높일 수 있을까, 동시에 계산적 실현 가능성은 유지될 수 있는가?
• RQ2 모든 $2^{| ext{active features}|}$ 기호 조합을 나열하지 않고도 고차원 Lasso에서 선택 이벤트를 효율적으로 특성화할 수 있는가?
• RQ3 특성 기호 수가 증가함에 따라, 특히 수천 개에 이르는 경우, 제안된 매개변수 프로그래밍 접근법의 확장성은 어떻게 되는가?
• RQ4 비정규 잡음과 알려지지 않은 오차 분산 조건 하에서도 방법이 유효한 제1종 오류 통제를 유지할 수 있는가?
• RQ5 교차검증을 통한 데이터 기반 정규화 파라미터 선택을 계산적으로 실현 가능한 방식으로 확장할 수 있는가?

주요 결과

• 특성 기호에 대한 과도한 조건부 설정을 피함으로써 기존 기법 대비 유의미하게 높은 통계적 검정력을 확보한다.
• 매개변수화된 직선과 교차하는 다면체의 수는 $2^{| ext{active features}|}$에 비해 극적으로 줄어들어, 큰 특성 집합에서도 계산 부담을 크게 감소시킨다.
• 최대 660개의 활성 특성이 있는 실제 생물정보학 데이터셋에서 p-값 계산 평균 시간은 0.38초 이내로 높은 효율성을 입증한다.
• 비정규 잡음(Laplace, 비대칭 정규, t분포) 조건과 데이터로부터 추정된 분산 조건 하에서도 좋은 유의수준 제어 성능을 유지한다.
• 가장 악성인 지수적 복잡도의 경우에도 실제 데이터에서는 이러한 최악의 경우가 거의 발생하지 않아, 방법은 실무적으로 계산적으로 실현 가능하다.
• 교차검증 기반 튜닝 파라미터 선택으로의 확장은 효과적이며, 매개변수 프로그래밍 프레임워크에 자연스럽게 통합된다.