[논문 리뷰] Statistically and Computationally Efficient Change Point Localization in Regression Settings

Daren Wang, Zhao, Zifeng외 2명|arXiv (Cornell University)|2019. 06. 26.

Statistical Methods and Inference참고 문헌 45인용 수 23

한 줄 요약

이 논문은 최적의 방향 추정을 통해 고차원 회귀 변화점 탐지 문제를 일차원 평균 변화 탐지 문제로 변환하는 투영 기반 방법인 분산 투영 와일드 바이너리 세그멘테이션(VPWBS)을 제안한다. VPWBS는 고차원 설정에서 이전 최고 성능인 $O_p(1/\sqrt{n})$보다 뛰어난 $O_p(1/n)$ 수준의 최소 최대 최적 국소화 속도를 달성한다.

ABSTRACT

Detecting when the underlying distribution changes for the observed time series is a fundamental problem arising in a broad spectrum of applications. In this paper, we study multiple change-point localization in the high-dimensional regression setting, which is particularly challenging as no direct observations of the parameter of interest is available. Specifically, we assume we observe $\{ x_t, y_t\}_{t=1}^n$ where $ \{ x_t\}_{t=1}^n $ are $p$-dimensional covariates, $\{y_t\}_{t=1}^n$ are the univariate responses satisfying $\mathbb{E}(y_t) = x_t^ op β_t^* ext{ for } 1\le t \le n $ and $\{β_t^*\}_{t=1}^n $ are the unobserved regression coefficients that change over time in a piecewise constant manner. We propose a novel projection-based algorithm, Variance Projected Wild Binary Segmentation~(VPWBS), which transforms the original (difficult) problem of change-point detection in $p$-dimensional regression to a simpler problem of change-point detection in mean of a one-dimensional time series. VPWBS is shown to achieve sharp localization rate $O_p(1/n)$ up to a log factor, a significant improvement from the best rate $O_p(1/\sqrt{n})$ known in the existing literature for multiple change-point localization in high-dimensional regression. Extensive numerical experiments are conducted to demonstrate the robust and favorable performance of VPWBS over two state-of-the-art algorithms, especially when the size of change in the regression coefficients $\{β_t^*\}_{t=1}^n $ is small.

연구 동기 및 목표

• 진짜 회귀 계수 $\beta_t^*$가 관측되지 않으며 시간에 따라 조각별로 일정한 방식으로 변화하는 고차원 회귀에서 다중 변화점 국소화 문제를 해결하기 위해.
• 고차원 회귀 모델에서의 구조적 변화 탐지에 있어 통계적 최적성과 계산 효율성을 동시에 달성하는 방법을 개발하기 위해.
• 고차원 변화점 탐지 문제를 추정된 최적의 방향을 사용해 일차원 공간으로 투영함으로써 복잡도를 감소시키기 위해.
• 고차원 및 비점근 설정 하에서 국소화 속도에 대한 이론적 보장을 수립하기 위해.
• 기존 방법들과 비교해 특히 변화 크기가 작은 경우에 우수한 경험적 성능을 보여주기 위해.

제안 방법

• VPWBS는 변화점 탐지에 대해 신호 대 잡음 비율을 최대화하는 최적의 일차원 방향을 추정하기 위해 분산 기반 투영을 사용한다.
• 이 방법은 무작위 간격에 대해 와일드 바이너리 세그멘테이션을 적용하며, 투영된 일차원 시계열에서 CUSUM 통계량을 사용해 변화점을 탐지한다.
• 초기 투영 방향 추정치는 전체 데이터에 대해 그룹 Lasso를 적용하여 확보되며, 이는 고차원에서의 희박성과 안정성을 보장한다.
• 알고리즘은 투영된 평균에서의 변화가 있는지 검정함으로써 반복적으로 시계열을 세그먼트로 나누며, 가짜 양성 결과를 제어하기 위해 리샘플링 기반 임계치 절차를 사용한다.
• 이론적 분석은 투영된 일차원 문제의 통계적 성질이 원래 고차원 모델의 성질을 그대로 이어받으며, 정밀한 국소화를 가능하게 한다는 것을 보여준다.
• 총 복잡도를 $O(n(\log n)^2 \cdot \text{GroupLasso}(n,p))$로 줄이기 위해 랜덤 간격의 수를 $M = (\log n)^2$로 제한함으로써 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 투영 기반 접근이 고차원 회귀 변화점 탐지에서 $O_p(1/n)$ 수준의 최소 최대 최적 국소화 속도를 달성할 수 있는가?
• RQ2 VPWBS는 EBSA 및 WBSSGL과 같은 최신 기술과 비교해 국소화 정확도와 계산 비용 측면에서 어떻게 성능을 내는가?
• RQ3 기존 방법이 어려움을 겪는 변화 크기가 작은 경우에도 VPWBS의 성능은 안정적인가?
• RQ4 차원 수 $p$와 표본 크기 $n$이 VPWBS의 계산 확장성과 통계적 정확도에 어떤 영향을 미치는가?
• RQ5 이 투영 프레임워크는 공분산 또는 텐서 모델과 같은 다른 구조적 변화점 문제로 일반화될 수 있는가?

주요 결과

• VPWBS는 고차원 회귀에서 $O_p(1/n)$ 수준의 최소 최대 최적 국소화 속도를 로그 인자까지 유지하며, 이는 이전 최고 성능인 $O_p(1/\sqrt{n})$보다 뚜렷한 향상이다.
• 시뮬레이션 결과에서 VPWBS는 변화 크기 $\kappa$가 작을수록 EBSA 및 WBSSGL을 항상 뛰어넘으며, 모든 설정에서 더 낮은 스케일링된 하우스도르프 거리 값을 기록한다.
• VPWBS의 평균 실행 시간은 $n$과 $p$에 대해 선형적으로 증가하며, 확장성 측면에서 유리한 성능를 보이며, WBSSGL의 경우 $O(\text{Lasso}(n, np))$ 복잡도로 인해 $n$ 증가에 따라 비효율적으로 비용이 증가한다.
• p = 120인 고차원 설정에서도 VPWBS는 모든 방법 중에서 가장 낮은 평균 스케일링된 하우스도르프 거리 값을 달성하여 높은 정확도를 유지한다.
• 다양한 시뮬레이션 설정, 즉 다양한 표본 크기 $n$, 차원 수 $p$, 희박성 $s$, 변화 크기 $\kappa$에서도 VPWBS는 일관된 성능 향상을 보이며 경쟁자들에 비해 뛰어난 성능을 유지한다.
• 이론적 분석은 투영 기반 변환이 변화점 탐지의 통계적 능력을 유지함으로써, 약한 신호 조건 하에서도 정밀한 국소화를 가능하게 한다는 것을 확인한다.