[논문 리뷰] Optimal nonparametric change point detection and localization

Oscar Hernán Madrid Padilla, Yi Yu외 2명|arXiv (Cornell University)|2019. 05. 24.

Statistical Methods and Inference참고 문헌 40인용 수 21

한 줄 요약

이 논문은 각 시점에서 i.i.d. 표본을 가진 단변량 데이터에 대해 완전히 비모수적 설정에서 콜모고로프–스미르노프 통계량을 사용한 비모수적 변화점 탐지 및 국소화 방법을 제안한다. 이는 이진 분할법과 와일드 이진 분할법을 일반화한 것으로, 거의 최소 최대 최적의 일致성 속도를 확립하고, 일관된 국소화의 통계적 가능성을 결정하는 모델 파라미터의 단계 전이를 규명한다.

ABSTRACT

We study change point detection and localization for univariate data in fully nonparametric settings in which, at each time point, we acquire an i.i.d. sample from an unknown distribution. We quantify the magnitude of the distributional changes at the change points using the Kolmogorov--Smirnov distance. We allow all the relevant parameters -- the minimal spacing between two consecutive change points, the minimal magnitude of the changes in the Kolmogorov--Smirnov distance, and the number of sample points collected at each time point -- to change with the length of time series. We generalize the renowned binary segmentation (e.g. Scott and Knott, 1974) algorithm and its variant, the wild binary segmentation of Fryzlewicz (2014), both originally designed for univariate mean change point detection problems, to our nonparametric settings and exhibit rates of consistency for both of them. In particular, we prove that the procedure based on wild binary segmentation is nearly minimax rate-optimal. We further demonstrate a phase transition in the space of model parameters that separates parameter combinations for which consistent localization is possible from the ones for which this task is statistical unfeasible. Finally, we provide extensive numerical experiments to support our theory. R code is available at https://github.com/hernanmp/NWBS.

연구 동기 및 목표

• 모수적 분포 가정에 의존하지 않는 완전히 비모수적 변화점 탐지 및 국소화 방법을 개발하는 것.
• 콜모고로프–스미르노프 거리로 분포 변화를 측정함으로써 이진 분할법과 와일드 이진 분할법을 비모수적 설정으로 일반화하는 것.
• 다양한 표본 크기와 변화점 구성 조건 하에서 변화점 탐지의 이론적 일관성과 최적 속도를 확립하는 것.
• 일관된 국소화가 통계적으로 가능할지 여부를 결정하는 모델 파라미터의 단계 전이를 규명하는 것.
• 엄밀한 이론적 보장을 갖춘 계산 효율적인 알고리즘을 제공하고 광범위한 수치 실험을 통해 지지하는 것.

제안 방법

• 변화점에서 분포 변화를 측정하기 위해 콜모고로프–스미르노프(KS) 거리를 사용하여 누적분포함수 간의 비모수적 비교를 가능하게 한다.
• KS 통계량을 적용하여 비모수적 설정에서 변화 분포 이동을 탐지하고 국소화하는 데 이진 분할법과 와일드 이진 분할법 알고리즘을 적응시킨다.
• 거짓 긍정을 통제하고 일관성을 확보하기 위해 데이터에 의존하는 임계값 λ = C log(n₁:T)를 사용하는 페널티가 부여된 CUSUM 유사 통계량을 활용한다.
• 표본 크기와 변화점 간격에 대한 약한 정규성 조건 하에서 높은 확률로 성립하는 이벤트 𝒜 기반의 조건부 분석 프레임워크를 도입한다.
• 후보 변화점에 대해 다중 척도 테스팅 전략을 적용하고, KS 통계량을 활용해 구간 간의 경험 분포를 비교한다.
• 적절한 신호 대 잡음 비율 조건 하에서 진짜 변화점을 높은 확률로 복구하기 위해 와일드 이진 분할법에서 중첩 선택 기법을 적용한다.

실험 결과

연구 질문

• RQ1 이진 분할법과 와일드 이진 분할법은 콜모고로프–스미르노프 통계량을 사용해 비모수적 변화점 탐지로 일반화될 수 있는가?
• RQ2 다양한 표본 크기와 분포 변화 조건 하에서 비모수적 변화점 탐지의 일관성과 최적 속도는 무엇인가?
• RQ3 일관된 국소화가 통계적으로 가능할지 여부를 결정하는 모델 파rameter 공간에서의 단계 전이가 존재하는가?
• RQ4 기존의 비모수적 방법(예: Zou 등, 2014)과 비교해 본 방법은 이론적 보장과 유한 표본 성능 측면에서 어떻게 다른가?
• RQ5 일반적인 비모수적 조건 하에서 이 방법은 거의 최소 최대 최적의 국소화 속도를 달성할 수 있는가?

주요 결과

• 와일드 이진 분할법 기반 절차는 콜모고로프–스미르노프 거리 하에서 변화점 국소화에 대해 거의 최소 최대 최적의 일관성 속도를 달성한다.
• 일관된 국소화는 신호 강도 κ가 κ ≥ cτ,2κδ¹ᐟ²nₘᵢₙ³ᐟ²/nₘₐₓ를 만족할 때에만 가능하며, 이를 초과하지 않으면 통계적으로 불가능하다.
• 최소 표본 크기와 신호 강도에 따라, 높은 확률로 국소화 오차가 Cεκ⁻²ₖ log(n₁:T)n₉ₘₐₓn⁻¹⁰ₘᵢₙ 이하로 제한된다.
• 모델 파rameter 공간에서 단계 전이가 발생한다: 일관된 국소화는 최소 간격 δ와 신호 크기 κ가 nₘᵢₙ과 nₘₐₓ를 포함하는 임계 조건를 만족할 때에만 가능하다.
• 시간 길이 T에 따라 각 시점의 표본 수, 최소 간격, 변화 크기의 척도가 증가하는 일반 조건 하에서도 이론적 보장이 유지된다.
• 수치 실험 결과 이론적 발견을 확인하였으며, 다양한 시뮬레이션 시나리오에서 뛰어난 경험적 성능을 보였다.