[논문 리뷰] More Powerful and General Selective Inference for Stepwise Feature Selection using the Homotopy Continuation Approach

Kazuya Sugiyama, Vo Nguyen Le Duy외 1명|arXiv (Cornell University)|2020. 12. 25.

Statistical Methods and Inference참고 문헌 44인용 수 4

한 줄 요약

이 논문은 다항체 기반 접근 방식에서의 과도한 조건화로 인한 검정력 손실 문제를 해결하기 위해, 단계적 특징 선택에 대한 호모토피 연속 기반 선택적 추론 방법을 제안한다. 데이터 공간에서 연속적인 경로 추적을 통해 선택 이벤트를 추적함으로써, AIC 기반 정지 기준을 갖는 전진-후진 SFS와 같은 복잡한 알고리즘에 대해 더 강력하고 일반적인 추론을 가능하게 하며, 알고리즘 복잡도가 증가하더라도 높은 통계적 검정력을 유지한다.

ABSTRACT

Conditional selective inference (SI) has been actively studied as a new statistical inference framework for data-driven hypotheses. The basic idea of conditional SI is to make inferences conditional on the selection event characterized by a set of linear and/or quadratic inequalities. Conditional SI has been mainly studied in the context of feature selection such as stepwise feature selection (SFS). The main limitation of the existing conditional SI methods is the loss of power due to over-conditioning, which is required for computational tractability. In this study, we develop a more powerful and general conditional SI method for SFS using the homotopy method which enables us to overcome this limitation. The homotopy-based SI is especially effective for more complicated feature selection algorithms. As an example, we develop a conditional SI method for forward-backward SFS with AIC-based stopping criteria and show that it is not adversely affected by the increased complexity of the algorithm. We conduct several experiments to demonstrate the effectiveness and efficiency of the proposed method.

연구 동기 및 목표

• 선택 이벤트에 대한 과도한 조건화로 인해 기존의 조건부 선택적 추론 방법에서 발생하는 검정력 손실 문제를 해결하기 위해.
• 전진-후진 SFS와 AIC 기반 정지 기준을 갖는 복잡한 특징 선택 알고리즘에 적용 가능한 더 일반적이고 강력한 추론 프레임워크를 개발하기 위해.
• 데이터 변형에 따른 선택 이벤트를 추적하기 위해 호모토피 연속 방법을 활용함으로써 계산적으로 타당한 추론을 가능하게 하기 위해.
• 선택 복잡도가 증가할 때에도 제안된 방법이 높은 통계적 검정력을 유지하는지 확인하기 위해.

제안 방법

• 응답 벡터가 표본 공간 내 선형 궤적을 따라 변할 때, 선택된 특징의 경로를 추적하기 위해 호모토피 연속 방법을 사용한다.
• 동일한 특징 선택 결과가 유지되는 표본 공간 내의 절단 영역을 식별함으로써, 선택된 특징에 대한 조건부 추론을 가능하게 한다.
• 선택 이벤트를 단일 다각형으로 특징화하는 대신 연속적인 경로 추적을 통해, 부호나 선택 이력에 대한 과도한 조건화가 필요 없도록 한다.
• AIC 기반 정지 기준을 갖는 전진-후진 SFS에 이 방법을 적용하여, 알고리즘 복잡도가 증가하더라도 효과성을 유지함을 보였다.
• 동일한 가설이 선택되는 영역으로 데이터 공간을 제한함으로써 검정 통계량의 조건부 샘플링 분포를 유도하며, 교차검증 설정에서 검증 오차에 대해 조각별 2차 함수를 사용한다.
• 최소 조건화 접근 방식을 적용하여, 최종 선택 이벤트에 대해서만 조건화하고, 중간 모델이나 부호에 대한 추가 제약 조건을 피한다.

실험 결과

연구 질문

• RQ1 선택 이벤트에 대한 과도한 조건화를 줄임으로써 단계적 특징 선택에 대한 선택적 추론의 검정력을 높일 수 있는가?
• RQ2 호모토피 연속 방법이 전진-후진 SFS와 AIC 기반 정지 기준을 갖는 복잡한 특징 선택 알고리즘에서 선택 이벤트를 효과적으로 특징화할 수 있는가?
• RQ3 선택 과정이 다중 단계와 기준을 포함할 경우, 제안된 방법이 높은 통계적 검정력을 유지하는가?
• RQ4 알고리즘 복잡도가 증가함에 따라, 제안된 방법이 다각형 기반 접근 방식과 비교해 검정력과 계산 가능성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 호모토피 기반 선택적 추론 방법은 과도한 조건화를 최소화함으로써 다각형 기반 방법보다 높은 통계적 검정력을 달성한다.
• 이 방법은 AIC 기반 정지 기준을 갖는 전진-후진 SFS와 같은 복잡한 특징 선택 알고리즘을 효과적으로 처리하며, 복잡도 증가에도 불구하고 높은 검정력을 유지한다.
• 실험 결과, 교차검증에서 후보 모델 수가 증가할수록 진짜 양성률(TPR)이 감소하는 경향을 보였으며, 이는 더 엄격한 조건화로 인한 것으로, 신뢰구간 길이 증가와 일관된다.
• 조건부 샘플링 분포의 절단 영역은 선택된 모델이 최적 상태를 유지하는 영역의 교차로 유도되며, 데이터 변형 파라미터에 대한 조각별 2차 함수를 사용한다.
• 최종 선택 결과에 대해서만 조건화함으로써 계산 가능성과 통계적 타당성을 입증하였으며, 중간 모델에 대한 불필요한 제약 조건을 피한다.