[논문 리뷰] More Powerful Conditional Selective Inference for Generalized Lasso by Parametric Programming

Vo Nguyen Le Duy, Ichiro Takeuchi|arXiv (Cornell University)|2021. 05. 11.

Statistical Methods and Inference참고 문헌 51인용 수 19

한 줄 요약

이 논문은 일반화 라소 및 관련 문제에 대해 다항식 프로그래밍 기반 조건부 선택적 추론(PP 기반 SI) 방법을 제안하며, 기존 다각형 기반 SI에서 발생하는 과도한 조건화 문제를 해결하기 위해 해의 경로를 추적하여 조건화를 최소화한다. 이 방법은 높은 통계적 검정력과 계산 효율성을 달성하였으며, 시뮬레이션 및 실세계 데이터셋에서의 경험적 검증을 통해 더 낮은 거짓 양성 비율 제어와 더 강력한 p-값을 보였다.

ABSTRACT

Conditional selective inference (SI) has been studied intensively as a new statistical inference framework for data-driven hypotheses. The basic concept of conditional SI is to make the inference conditional on the selection event, which enables an exact and valid statistical inference to be conducted even when the hypothesis is selected based on the data. Conditional SI has mainly been studied in the context of model selection, such as vanilla lasso or generalized lasso. The main limitation of existing approaches is the low statistical power owing to over-conditioning, which is required for computational tractability. In this study, we propose a more powerful and general conditional SI method for a class of problems that can be converted into quadratic parametric programming, which includes generalized lasso. The key concept is to compute the continuum path of the optimal solution in the direction of the selected test statistic and to identify the subset of the data space that corresponds to the model selection event by following the solution path. The proposed parametric programming-based method not only avoids the aforementioned major drawback of over-conditioning, but also improves the performance and practicality of SI in various respects. We conducted several experiments to demonstrate the effectiveness and efficiency of our proposed method.

연구 동기 및 목표

• 고차원 모델 선택에서 다각형 기반 조건부 선택적 추론의 주요 한계인 과도한 조건화로 인한 낮은 통계적 검정력 문제를 해결하기 위해.
• 일반화 라소, 엘라스틱 넷, 비음수 최소 제곱 등 다양한 정규화 문제에 적용 가능한 일반적이고 계산적으로 실현 가능한 조건부 선택적 추론 프레임워크를 개발하기 위해.
• 교차검증과 같은 복잡한 선택 이벤트에서의 타당한 추론을 가능하게 하기 위해, 다각형으로 표현하기 어려운 선택 영역을 특성화하기 위해.
• 정확한 오류율 제어를 유지하면서 조건화 집합을 최소화하여 선택적 추론의 실용성과 성능을 향상시키기 위해.

제안 방법

• 해당 방법은 일반화 라소 문제를 다항식 최적화 문제(QP)로 재구성하여, 검정 통계량 방향으로 연속적인 해의 경로를 계산할 수 있도록 한다.
• 다항식 프로그래밍을 활용해 매개변수 변화에 따라 최적 해의 경로를 추적하며, 최소한의 조건화로 검정 통계량의 정확한 표본 분포를 특정한다.
• 선택 이벤트는 해의 경로를 따라 활성 집합을 추적함으로써 특성화되며, 선택 영역의 다각형 표현이 필요 없어진다.
• 해의 경로의 연속성과 조각별 선형성 특성을 활용해 선택적 p-값과 신뢰구간을 유도한다.
• 교차검증을 통한 정규화 매개변수 선택에 대해, 고정된 다각형이 아닌 경로 의존 조건으로 선택 이벤트를 모델링함으로써 확장 가능하다.
• 다항식 QP 솔버를 효율적으로 활용하여 높은 차원 환경에서도 확장 가능한 추론을 실현한다.

실험 결과

연구 질문

• RQ1 다항식 프로그래밍을 활용해 일반화 라소에서 과도한 조건화를 피하면서도 더 높은 검정력을 갖춘 조건부 선택적 추론 방법을 구성할 수 있는가?
• RQ2 제안된 PP 기반 SI 방법이 엘라스틱 넷 및 비음수 최소 제곱과 같은 다른 정규화 문제로 얼마나 일반화될 수 있는가?
• RQ3 교차검증 기반 정규화 매개변수 선택과 같은 복잡한 선택 상황에서 PP 기반 SI의 통계적 검정력은 다각형 기반 SI와 비교해 얼마나 뛰어나게 되는가?
• RQ4 제안된 방법은 실세계 유전체 및 시계열 데이터에서 더 높은 검정력을 확보하면서도 정확한 제1종 오류율 제어를 유지할 수 있는가?

주요 결과

• 실세계 배열 CGH 데이터에서 제안된 PP 기반 SI 방법은 다각형 기반 방법(OC)보다 유의적으로 더 작은 p-값을 기록하였으며, 두 데이터셋에서 p-값 크기의 감소율이 각각 55.81%와 54.24%로, 더 높은 통계적 검정력을 시사한다.
• 나일 강 강수량 데이터에서, 방법은 1899년에 위치 28에서 변화점이 존재함을 정확히 탐지하였으며, 이는 이전 연구 결과와 일치하여 구조적 변화 탐지 정확도를 입증한다.
• 전립선 암 데이터셋에서, 선택된 특성에 대해 유효한 95% 신뢰구간을 생성하였으며, 데이터 기반 선택 조건에서도 커버리지 성질이 유지됨을 확인하였다.
• 모든 실험에서 거짓 양성 비율을 정확히 제어하였으며, 알려진 진실값이 있는 시뮬레이션 데이터셋에서도 정확한 오류율 제어를 입증하였다.
• 제안된 방법의 계산 비용은 Liu 등(2018)의 기호 열거 방법보다 상당히 낮았으며, 기능 기호 조합의 지수적 증가를 피함으로써 스케일링 가능했다.
• 박스플롯 분석 결과, 모든 진짜 복수 수준 변화에 대해 제안된 방법의 p-값은 항상 OC보다 작거나 같았으며, 이는 더 높은 검정력을 확인한다.