[논문 리뷰] A Selective Overview of Variable Selection in High Dimensional Feature Space (Invited Review Article)

Jianqing Fan, Jinchi Lv|ArXiv.org|2009. 10. 06.

Statistical Methods and Inference참고 문헌 106인용 수 38

한 줄 요약

이 논문은 고차원 특징 공간에서의 변수 선택 방법에 대한 종합적인 리뷰를 제공하며, SCAD 및 LASSO와 같은 페널라이제이션된 우도 접근법을 강조한다. 비볼록 페널티(예: SCAD)가 비다항적 비율로 증가하는 차원성 조건 하에서도 오라클 성질과 일관된 변수 선택을 달성함을 입증하며, 초고차원 설정에서 L1-페널라이제이션 방법보다 뛰어난 성능을 보인다.

ABSTRACT

High dimensional statistical problems arise from diverse fields of scientific research and technological development. Variable selection plays a pivotal role in contemporary statistical learning and scientific discoveries. The traditional idea of best subset selection methods, which can be regarded as a specific form of penalized likelihood, is computationally too expensive for many modern statistical applications. Other forms of penalized likelihood methods have been successfully developed over the last decade to cope with high dimensionality. They have been widely applied for simultaneously selecting important variables and estimating their effects in high dimensional statistical inference. In this article, we present a brief account of the recent developments of theory, methods, and implementations for high dimensional variable selection. What limits of the dimensionality such methods can handle, what the role of penalty functions is, and what the statistical properties are rapidly drive the advances of the field. The properties of non-concave penalized likelihood and its roles in high dimensional statistical modeling are emphasized. We also review some recent advances in ultra-high dimensional variable selection, with emphasis on independence screening and two-scale methods.

연구 동기 및 목표

• 유전체학, 금융, 기계학습 등에서 흔한 p >> n 조건에서의 변수 선택 과제를 다루기 위해.
• 초고차원 설정에서 전통적인 최적 부분집합 선택 및 L1-페널라이제이션 방법(예: LASSO)의 한계를 검토하기 위해.
• 비볼록 페널라이제이션된 우도 추정량이 오라클 성질과 일관된 변수 선택을 달성할 수 있는 이론적 조건을 확립하기 위해.
• 고차원 모델에서 편향, 선택 일관성, 계산 가능성을 균형 잡는 데 페널티 함수가 수행하는 역할을 탐색하기 위해.
• 최근의 진전인 확실성 독립 스크리닝 및 초고차원 변수 선택을 위한 이중 척도 방법을 검토하기 위해.

제안 방법

• 접합된 볼록 페널티(예: SCAD)를 사용한 페널라이제이션된 우도 추정을 통해 동시에 변수 선택과 매개변수 추정을 수행한다.
• 비점근적 및 비다항적(NP) 차원성 증가 조건 하에서 페널라이제이션된 우도 추정량의 점근적 행동을 분석한다.
• 일반화선형모형에서 비볼록 페널라이제이션된 우도 추정량에 대한 비점근적 약한 오라클 성질을 유도한다.
• SCAD 페널티가 국소 최대 또는 제한된 국소 최대를 보장하는 조건을 확립하며, L1-페널라이제이션의 편향 문제를 피한다.
• 차원 감소를 위해 마진별 상관계수를 통한 확실성 스크리닝을 도입하여 전체적인 페널라이제이션 추정 이전에 차원을 축소한다.
• 초고차원 데이터를 다루기 위해 확실성 스크리닝과 정교한 페널라이제이션된 우도 추정을 조합한 이중 척도 방법을 적용한다.

실험 결과

연구 질문

• RQ1 p가 n에 대해 다항적 비율보다 더 빠르게 증가하는 초고차원 모델에서 비볼록 페널라이제이션된 우도 방법이 오라클 성질을 달성할 수 있는가?
• RQ2 고차원 점근 이론 조건 하에서 SCAD와 LASSO 같은 페널티 함수는 편향 감소 및 변수 선택 일관성 측면에서 어떻게 비교되는가?
• RQ3 L1-페널라이제이션된 우도 추정량이 최적 수렴 속도 O_P(√s n^{-1/2}) 또는 오라클 성질을 달성하지 못하는 이론적 조건은 무엇인가?
• RQ4 중요한 예측변수를 잃지 않고 초고차원 설정에서 전체 모델 피팅 이전에 차원을 효과적으로 줄일 수 있는 방법은 무엇인가?
• RQ5 비볼록 페널라이제이션된 우도 추정량이 전역 최적 또는 오라클 추정량에 가까운 조건은 무엇인가?

주요 결과

• 특히 SCAD를 포함한 비볼록 페널라이제이션된 우도 추정량은 p가 비다항적 비율로 증가하는 초고차원 모델에서 오라클 성질과 일관된 변수 선택을 달성한다.
• L1-페널라이제이션된 우도 추정량은 p → ∞ 이면서 n이 유한할 경우 최적 수렴 속도 O_P(√s n^{-1/2})를 달성하지 못하며 오라클 성질을 갖지 못한다.
• SCAD 페널티는 L1-페널라이제이션 대비 추정 편향을 감소시키며, 적절한 조건 하에서 페널라이제이션된 우도의 전역 최대값을 도출할 수 있다.
• 확실성 독립 스크리닝은 차원을 p에서 더 작은 척도로 효과적으로 감소시켜 초고차원 설정에서 후속 페널라이제이션된 우도 추정을 가능하게 한다.
• log p = o(n^{1-2(α₀+α₁)} d_n²) 조건 하에서 비볼록 페널라이제이션된 우도 추정량에 대한 비점근적 약한 오라클 성질이 성립하며, 약한 신호 조건 하에서 p의 지수적 증가를 허용한다.
• 이론적 결과에 따르면, 적절한 정규성 및 신호 강도 조건 하에서 차원성 p는 u_n = √(2 log p)에 대해 지수적으로 증가할 수 있다.