[논문 리뷰] Model-free controlled variable selection via data splitting

Yixin Han, Xu Guo외 1명|arXiv (Cornell University)|2022. 10. 22.

Control Systems and Identification인용 수 4

한 줄 요약

이 논문은 특정 회귀 모형을 가정하지 않고, 데이터 분할을 통해 거짓 발견률(FDR)을 통제하는 모형에 의존하지 않는 변수 선택 방법을 제안한다. 응답 변수를 변환하고, 분할된 데이터로부터 유도된 검정 통계량의 대칭성을 활용함으로써, 유한 표본 및 점근적 FDR 통제를 달성하면서도 높은 검정력(power)을 유지하며, 시뮬레이션에서 기존 방법들을 능가한다.

ABSTRACT

Addressing the simultaneous identification of contributory variables while controlling the false discovery rate (FDR) in high-dimensional data is a crucial statistical challenge. In this paper, we propose a novel model-free variable selection procedure in sufficient dimension reduction framework via a data splitting technique. The variable selection problem is first converted to a least squares procedure with several response transformations. We construct a series of statistics with global symmetry property and leverage the symmetry to derive a data-driven threshold aimed at error rate control. Our approach demonstrates the capability for achieving finite-sample and asymptotic FDR control under mild theoretical conditions. Numerical experiments confirm that our procedure has satisfactory FDR control and higher power compared with existing methods.

연구 동기 및 목표

• 고차원 충분한 차원 감소에서 거짓 발견률(FDR)을 통제하는 모형에 의존하지 않는 변수 선택 절차를 개발하는 것.
• 특히 유한 표본에서의 오류율 통제 부족 문제를 해결하는 것.
• 모수적 모형 가정 없이 진정으로 기여하는 변수를 효과적으로 식별하고 비정보성 변수를 걸러내는 것.
• 약한 규칙성 조건 하에서 유한 표본 및 점근적 FDR 통제를 달성하는 것.
• 대칭성 특성을 기반으로 한 데이터 기반 임계치를 통해 기존 방법 대비 검정력과 정확도를 향상시키는 것.

제안 방법

• 변수 선택 문제를 최소제곱 프레임워크 내에서 다중 응답 변환을 통해 회귀 계수 추론으로 변환한다.
• 데이터 분할을 통해 두 개의 독립된 표본을 생성함으로써 각 공변량에 대한 대칭 검정 통계량을 구성한다.
• 두 데이터 분할에서 추정된 계수의 차이로부터 유도된 대칭 통계량은 귀무가설 하에서 전역 대칭성을 보장한다.
• 대칭성 특성을 이용해 데이터 기반 임계치를 구성함으로써, p-값이나 모수적 가정에 의존하지 않고 FDR를 통제한다.
• 이 절차는 기초가 되는 SDR 방법에 관계없이 적용 가능하므로, SIR나 슬라이스드 인버스 리그레션과 같은 다양한 기존 SDR 기법과 통합이 가능하다.
• 검정 통계량의 대칭성에 기반한 노크오프 유사 임계치 규칙을 통해 FDR 통제를 달성하며, 약한 조건 하에서 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 특정 모수적 모형을 가정하지 않고도 충분한 차원 감소에서 거짓 발견률(FDR)을 통제할 수 있는 모형에 의존하지 않는 변수 선택 절차가 존재하는가?
• RQ2 데이터 분할에서 유도된 검정 통계량의 대칭성을 어떻게 활용하여 FDR 통제를 위한 데이터 기반 임계치를 구성할 수 있는가?
• RQ3 제안된 방법이 약한 규칙성 조건 하에서 유한 표본 및 점근적 FDR 통제를 달성하는가?
• RQ4 고차원 설정에서 이 방법의 검정력은 기존의 모형에 의존하지 않는 및 모형 기반 변수 선택 절차와 비교해 어떻게 되는가?
• RQ5 이 방법은 다양한 기존 SDR 방법과 탄력적으로 통합될 수 있으며, FDR 통제를 손상시키지 않는가?

주요 결과

• 제안된 방법은 설계 모멘트의 유계성과 충분한 신호 강도를 포함한 약한 규칙성 조건 하에서 유한 표본 및 점근적 FDR 통제를 달성한다.
• 이론적 분석을 통해 FDP(거짓 발견 비율)가 명목 수준 α 이하로 확률적으로 수렴함을 보여, FDR 통제가 보장됨을 입증한다.
• 시뮬레이션을 통해 기존 방법들과 비교해 진정한 신호를 더 잘 탐지함을 입증함으로써 높은 통계적 검정력을 유지함을 확인했다.
• 대칭성 특성에서 유도된 데이터 기반 임계치는 고정 임계치보다 우수하며, p-값이나 점근적 근사에 의존하지 않는다.
• 모형 오류 사양에 대해 강건하며, 다양한 SDR 기법과 원활하게 통합되어 관련 예측 변수만 선택함으로써 해석 가능성을 향상시킨다.
• 수치 실험을 통해 명목 수준에서 FDR를 통제하면서도 저차원 및 고차원 설정 모두에서 경쟁 방법들보다 높은 검정력을 확보함을 확인했다.