[논문 리뷰] Flexible Shrinkage Estimation in High-Dimensional Varying Coefficient Models

Heng Lian|arXiv (Cornell University)|2010. 08. 13.

Dam Engineering and Safety참고 문헌 30인용 수 3

한 줄 요약

이 논문은 고차원 변동 계수 모형에서 $ p \gg n $ 인 상황에서 변수 선택과 상수 계수 식별을 동시에 수행하기 위해 B-spline 전개에 적응형 그룹 Lasso를 사용하는 이중 수축 추정 방법을 제안한다. 이 방법은 수렴성과 모형 선택의 일致성, 그리고 규제 파라미터 선택을 위한 반모수적 BIC 유형 기준의 이론적 타당성을 확보한다.

ABSTRACT

We consider the problem of simultaneous variable selection and constant coefficient identification in high-dimensional varying coefficient models based on B-spline basis expansion. Both objectives can be considered as some type of model selection problems and we show that they can be achieved by a double shrinkage strategy. We apply the adaptive group Lasso penalty in models involving a diverging number of covariates, which can be much larger than the sample size, but we assume the number of relevant variables is smaller than the sample size via model sparsity. Such so-called ultra-high dimensional settings are especially challenging in semiparametric models as we consider here and has not been dealt with before. Under suitable conditions, we show that consistency in terms of both variable selection and constant coefficient identification can be achieved, as well as the oracle property of the constant coefficients. Even in the case that the zero and constant coefficients are known a priori, our results appear to be new in that it reduces to semivarying coefficient models (a.k.a. partially linear varying coefficient models) with a diverging number of covariates. We also theoretically demonstrate the consistency of a semiparametric BIC-type criterion in this high-dimensional context, extending several previous results. The finite sample behavior of the estimator is evaluated by some Monte Carlo studies.

연구 동기 및 목표

• 고차원 변동 계수 모형에서 $ p \gg n $ 인 상황에서 동시에 변수 선택과 상수 계수 식별 문제를 해결한다.
• 기존의 페널티 방법을 차원 수가 발산하는 초고차원 반모수 모형으로 확장한다.
• 희박성 가정 하에 변수 선택과 상수 계수 식별에 대한 이론적 일致성을 확립한다.
• 고차원 설정에서 자동으로 규제 파라미터를 선택할 수 있는 반모수적 BIC 유형 기준을 개발하고 정당화한다.
• 진짜로 0이거나 상수 계수임을 사전에 알고 있는 경우에도 이론적으로 일관성을 유지하며, 이는 발산하는 예측 변수를 가진 반변동 계수 모형으로 일반화된다.

제안 방법

• 변동 계수를 B-spline 기저 전개를 통해 표현하여 유한 차원 근사 공간 내에서 비모수적 추정을 가능하게 한다.
• 그룹의 구조를 통해 전체 계수 함수를 동시에 수축시키고 상수 계수를 식별하기 위해 적응형 그룹 Lasso 페널티를 적용한다.
• 전역 수렴과 KKT 조건을 만족시키기 위해 추정 문제를 볼록 최적화 문제로 공식화한다.
• 설계 행렬을 비모수적 부분공간과 모수적 부분공간과 관련된 성분들로 분해하여 渐近적 행동을 분석한다.
• 에르미트 노름과 행렬 투영 기법을 활용하여 추정 오차를 유계화하고 수렴 속도를 유도한다.
• 잔차 제곱합과 모형 복잡도를 바탕으로 한 반모수적 BIC 유형 기준을 도입하여 규제 파rameter를 일관되게 선택한다.

실험 결과

연구 질문

• RQ1 적응형 그룹 Lasso는 고차원 변동 계수 모형에서 동시에 변수 선택과 상수 계수 식별을 달성하는 데 사용될 수 있는가?
• RQ2 제안된 방법은 $ p \gg n $ 인 초고차원 설정에서 상수 계수에 대해 오라클 성질을 유지하는가?
• RQ3 예측 변수 수가 발산할 경우 반모수적 BIC 유형 기준이 규제 파rameter를 일관되게 선택할 수 있는가?
• RQ4 유한 표본에서 이론적으로 0, 상수, 비모수적 계수를 어떻게 정확히 구분하는가?
• RQ5 이론적 일관성 결과는 예측 변수 수가 발산하는 반변동 계수 모형으로 확장될 수 있는가?

주요 결과

• 제안된 이중 수축 추정량은 모형 선택 일관성을 확보하여, 0 계수를 확률적으로 1로 정확히 식별한다.
• 이 방법은 상수 계수에 대해 오라클 성질을 달성한다. 즉, 진짜 구조를 알고 있는 것처럼 효율적으로 추정된다.
• 반모수적 BIC 유형 기준의 일관성이 입증되어 고차원 설정에서 자동이고 일관된 규제 파rameter 선택이 가능하다.
• 이론적 경계는 추정 오차가 $ O_p(\sqrt{ns}/n) $ 의 속도로 0으로 수렴함을 보여주며, B-spline 근사와 설계 행렬 분해를 통해 추가 항들을 제어한다.
• 유한 표본 시뮬레이션은 이론적으로 0, 상수, 변동 계수 간의 정확한 구분 능력을 입증한다.
• 진짜로 0이거나 상수 계수임을 사전에 알고 있는 경우에도 이론적 일관성 결과는 새로운 것으로, 예측 변수 수가 발산하는 반변동 계수 모형으로 일반화된다.