[논문 리뷰] Model selection by LASSO methods in a change-point model

Gabriela Ciuperca|arXiv (Cornell University)|2011. 07. 05.

Statistical Methods and Inference참고 문헌 20인용 수 5

한 줄 요약

이 논문은 다중 미지의 변화점이 있는 고차원 선형 회귀 모형에 대해 LASSO 및 적응형 LASSO 추정량을 제안하며, 동시에 회귀계수 추정과 자동 변수 선택을 가능하게 한다. 적응형 LASSO 추정량은 정규성 조건 하에서 오라클 성질을 확보하며, 이는 일관된 변수 선택과 점근적으로 정규분포를 따르는 추정을 포함한다.

ABSTRACT

The paper considers a linear regression model with multiple change-points occurring at unknown times. The LASSO technique is very interesting since it allows the parametric estimation, including the change-points, and automatic variable selection simultaneously. The asymptotic properties of the LASSO-type (which has as particular case the LASSO estimator) and of the adaptive LASSO estimators are studied. For this last estimator the oracle properties are proved. In both cases, a model selection criterion is proposed. Numerical examples are provided showing the performances of the adaptive LASSO estimator compared to the LS estimator.

연구 동기 및 목표

• 고차원 예측 변수를 가진 변화점 회귀 모형에서 변수 선택 방법의 부족을 해결한다.
• 회귀계수와 변화점을 동시에 추정하면서 관련 공변수를 선택하는 추정량을 개발한다.
• 다중 변화점 모형에서 적응형 LASSO의 점근적 성질, 특히 오라클 성질을 확립한다.
• LASSO 유형 또는 적응형 LASSO를 기반으로 한 모형 선택 기준을 제안하여 변화점의 수를 추정한다.
• 기존 LASSO의 한계를 극복하여 일관된 변수 선택과 최적의 추정 속도를 확보한다.

제안 방법

• 잔차 제곱합을 최소화하면서 회귀계수에 L1 펜alties를 적용함으로써 LASSO 유형 추정을 적용하여 수축과 변수 선택을 가능하게 한다.
• 데이터에 의존하는 가중치를 도입함으로써 변수 선택의 일관성을 향상시키고 오라클 성질을 달성하는 적응형 LASSO를 제안한다.
• 패널티 항이 추정된 계수에 의존하는 펜라이티드 우도 접근법을 사용하여 관련이 없는 변수들을 적응적으로 수축시킨다.
• 설계 행렬과 오차 항에 대한 정규성 조건 하에서 추정량의 수렴 속도와 점근적 정규성을 확립한다.
• 적응형 LASSO를 기반으로 한 모형 선택 기준을 제안하여 변화점의 수를 추정하며, 해의 흐문성(스패arsity)을 활용한다.
• 변화점 간의 각 세그먼트에서 추정량의 행동을 분석하며, 알려지지 않은 경계와 회귀 및 변화점 파라미터에 대한 의존성을 고려한다.

실험 결과

연구 질문

• RQ1 LASSO 유형 방법은 다중 미지 변화점이 있는 고차원 선형 회귀 모형에 적응하여 동시에 추정과 변수 선택을 가능하게 할 수 있는가?
• RQ2 변화점 모형에서 적응형 LASSO 추정량은 오라클 성질—특히 일관된 변수 선택과 점근적으로 정규분포를 따르는 추정—을 달성하는가?
• RQ3 다중 변화점의 존재는 LASSO 유형 및 적응형 LASSO 추정량의 점근적 행동에 어떤 영향을 미치는가?
• RQ4 적응형 LASSO에서 유도할 수 있는 모형 선택 기준은 고차원 환경에서 변화점의 수를 추정하는 데 어떤가?
• RQ5 변화점과 회귀 파라미터 추정 간의 의존성에도 불구하고, 추정량이 일관성과 최적의 수렴 속도를 유지하는 조건은 무엇인가?

주요 결과

• 적응형 LASSO 추정량은 오라클 성질을 확보한다: 즉, 비의존 변수의 계수를 0으로 설정하는 것을 일관되게 수행하며, 그 확률은 표본 크기가 증가함에 따라 1로 수렴한다. 또한 비영인 계수는 최적의 속도로 추정된다.
• LASSO 유형 추정량은 계수 추정의 편향으로 인해 오라클 성질을 만족하지 못한다. 특히 큰 회귀 계수에 대해 두드러진다.
• 정규성 조건 하에서 적응형 LASSO 추정량은 변수 선택에서 일관성을 보이며, 표본 크기가 증가함에 따라 정확한 모형을 선택할 확률이 1로 수렴한다.
• 적응형 LASSO 추정량의 수렴 속도는 각 세그먼트 내 추정 계수에 대해 $ O_{I ext{P}}(1) $의 순서이며, 추정량은 점근적으로 정규분포를 따른다.
• 제안된 적응형 LASSO 기반의 모형 선택 기준은 모형 내 변화점의 수를 일관되게 추정할 수 있다.
• 수치 예제는 고차원 변화점 모형에서 적응형 LASSO가 최소제곱 추정량보다 변수 선택 정확도와 추정 효율성 측면에서 뛰어나다는 것을 보여준다.