[논문 리뷰] An efficient two step algorithm for high dimensional change point regression models without grid search

Abhishek Kaul, Venkata K. Jandhyala외 1명|arXiv (Cornell University)|2018. 05. 09.

Statistical Methods and Inference참고 문헌 48인용 수 14

한 줄 요약

이 논문은 ℓ₁/ℓ₀ 정규화를 사용한 고차원 변화점 회귀를 위한 그리드 서치가 필요 없는 이단계 알고리즘을 제안하며, 단일 Lasso의 2배 비용으로 계산 효율성을 달성한다. 최적의 수렴 속도를 확립하고, 변화 크기가 표본 크기와 함께 증가하는 경우에도 '변화 없음' 케이스를 유일하게 탐지한다.

ABSTRACT

We propose a two step algorithm based on $\ell_1/\ell_0$ regularization for the detection and estimation of parameters of a high dimensional change point regression model and provide the corresponding rates of convergence for the change point as well as the regression parameter estimates. Importantly, the computational cost of our estimator is only $2\cdotp$Lasso$(n,p)$, where Lasso$(n,p)$ represents the computational burden of one Lasso optimization in a model of size $(n,p)$. In comparison, existing grid search based approaches to this problem require a computational cost of at least $n\cdot { m Lasso}(n,p)$ optimizations. Additionally, the proposed method is shown to be able to consistently detect the case of `no change', i.e., where no finite change point exists in the model. We work under a subgaussian random design where the underlying assumptions in our study are milder than those currently assumed in the high dimensional change point regression literature. We allow the true change point parameter $τ_0$ to possibly move to the boundaries of its parametric space, and the jump size $\|β_0-γ_0\|_2$ to possibly diverge as $n$ increases. We then characterize the corresponding effects on the rates of convergence of the change point and regression estimates. In particular, we show that, while an increasing jump size may have a beneficial effect on the change point estimate, however the optimal rate of regression parameter estimates are preserved only upto a certain rate of the increasing jump size. This behavior in the rate of regression parameter estimates is unique to high dimensional change point regression models only. Simulations are performed to empirically evaluate performance of the proposed estimators. The methodology is applied to community level socio-economic data of the U.S., collected from the 1990 U.S. census and other sources.

연구 동기 및 목표

• 고차원 변화점 회귀에서 기존의 그리드 서치 기반 방법의 계산 비효율성을 해결한다.
• 모든 가능한 변화점에 대한 완전한 검색 없이도 구조적 변화를 탐지할 수 있는 방법을 개발한다.
• 약한 서브가우시안 설계 가정 하에 '변화 없음' 케이스(즉, τ₀ = -∞)를 일관되게 탐지할 수 있도록 보장한다.
• 변화 크기가 발산할 수 있는 유연한 조건 하에서 변화점 및 회귀 계수 추정치의 이론적 수렴 속도를 확립한다.
• 실제 고차원 데이터에 적용 가능한 계산적으로 스케일러블한 해결책을 제공한다. 예: 사회경제적 커뮤니티 데이터

제안 방법

• 이단계 알고리즘 제안: 첫 번째 단계에서는 ℓ₀ 정규화 최적화를 통해 변화점을 추정하고, 두 번째 단계에서는 각 세그먼트에서 ℓ₁ 정규화(라소) 회귀를 통해 회귀 계수를 추정한다.
• 모든 가능한 변화점에 대한 그리드 서치를 피하기 위해, 변화 유도 변수의 50번째 백분율을 기반으로 한 새로운 초기화 전략을 사용한다.
• 튜닝 파rameter 선택(λ₁, λ₂, μ)을 위해 교차검증과 BIC를 통합하여 모델 적합도와 흐문함의 균형을 이룬다.
• 모델을 이단계 회귀로 설정: yᵢ = xᵢᵀβ₀𝟏{wᵢ ≤ τ₀} + xᵢᵀγ₀𝟏{wᵢ > τ₀} + εᵢ로, '변화 없음' 케이스를 위해 τ₀ = -∞를 允허한다.
• 모델 식별성과 안정성을 확보하기 위해 이상치 제거, 상관관계 필터링, 평균 중심화 등의 사전 처리 단계를 적용한다.
• 변화점 탐지에 ℓ₀ 정규화를, 회귀 추정에 ℓ₁ 정규화를 사용하여 변수 선택과 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 그리드 서치 없이도 모든 가능한 변화점에 대한 완전한 검색 없이도 고차원 회귀 모델에서 일관된 변화점 탐지가 가능한가?
• RQ2 일반적인 서브가우시안 설계 조건과 증가하는 변화 크기 하에서 변화점 및 회귀 계수 추정치의 이론적 수렴 속도는 무엇인가?
• RQ3 구조적 붕괴가 존재하지 않을 경우, 제안된 방법이 '변화 없음' 케이스(τ₀ = -∞)를 일관되게 탐지할 수 있는가?
• RQ4 변화 크기 ∥β₀ - γ₀∥₂가 증가할수록 변화점 및 회귀 계수의 추정 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 최소한의 계산 오버헤드로 실세계 고차원 데이터에 실용적으로 적용 가능한가?

주요 결과

• 제안된 알고리즘의 계산 비용은 단지 Lasso(n,p)의 2배에 불과하여, 그리드 서치 방법이 n×Lasso(n,p) 최적화를 수행해야 하는 것에 비해 크게 감소한다.
• 메서드는 '변화 없음' 케이스(τ₀ = -∞)를 일관되게 탐지하며, 유한한 변화가 존재하지 않을 경우 추정된 변화점이 -∞로 수렴함을 보였다.
• ‘Communities and Crime’ 데이터셋에서, 인구의 73번째 백분율에서 변화점이 탐지되었으며(τ̂⁽¹⁾ = 0.23), 변화 전·후의 계수 패tern이 뚜렷하게 다름을 확인하였다.
• ‘중간 소득’을 변화 유도 변수로 사용했을 경우, 변화가 탐지되지 않아(τ̂⁽1⁾ = -∞) 표준 선형 모델이 도출되었다.
• 인구 기반 모델에서 변화점 이전과 이후의 추정 회귀 계수는 거의 분리된 특징 집합을 보였으며, 강한 구조적 이질성이 있음을 시사한다.
• 회귀 계수 추정치의 수렴 속도는 변화 크기 증가 속도가 일정 수준 이하일 때까지 유지되며, 이를 초과하면 추정 정확도가 저하됨을 보였는데, 이는 고차원 변화점 모델에서 고유한 특성이다.