[논문 리뷰] Random Forests for Change Point Detection

Malte Londschien, Peter Bühlmann외 1명|arXiv (Cornell University)|2022. 05. 10.

Statistical Methods and Inference인용 수 16

한 줄 요약

이 논문은 다변량 시계열에서 다중 구조적 변화를 탐지하기 위해 분류기 로그우도비를 사용하는 새로운 비모수적 다변량 변화점 탐지 방법인 changeforest를 제안한다. 특히 랜덤 포레스트를 활용하여 단일 변화점의 일致한 탐지를 달성하고, 계산 효율적인 이진 분할 알고리즘을 통해 기존 비모수적 방법보다 뛰어난 성능을 보인다. 광범위한 시뮬레이션에서 검증되었다.

ABSTRACT

We propose a novel multivariate nonparametric multiple change point detection method using classifiers. We construct a classifier log-likelihood ratio that uses class probability predictions to compare different change point configurations. We propose a computationally feasible search method that is particularly well suited for random forests, denoted by changeforest. However, the method can be paired with any classifier that yields class probability predictions, which we illustrate by also using a k-nearest neighbor classifier. We prove that it consistently locates change points in single change point settings when paired with a consistent classifier. Our proposed method changeforest achieves improved empirical performance in an extensive simulation study compared to existing multivariate nonparametric change point detection methods. An efficient implementation of our method is made available for R, Python, and Rust users in the changeforest software package.

연구 동기 및 목표

• 모수적 분포 형태를 가정하지 않는 비모수적 다변량 변화점 탐지 방법을 개발하기 위해.
• 기존 모수적 방법이 실패하는 고차원 및 복잡한 데이터 구조에서 다중 변화점 탐지의 과제를 해결하기 위해.
• 특히 랜덤 포레스트를 포함한 현대 기계학습 분류기의 강력하고 유연한 변화점 추정에 활용하기 위해.
• 대규모 시계열 데이터에 대한 계산 효율성과 확장성 확보를 위해.
• 약한 정규성 조건 하에 일致한 탐지 성질을 갖는 이론적으로 탄탄하고 경험적으로 검증된 방법 제공을 위해.

제안 방법

• 학습된 분류기의 클래스 확률 예측을 사용하여 변화점 구성 간 비교를 위한 분류기 로그우도비를 구성한다.
• 단일 변화점당 일정한 수의 분류기 피팅만 필요로 하는 두 단계의 이진 분할 알고리즘을 적용하여 변화점 수에 따라 선형 스케일링이 가능하도록 설계된다.
• 클래스 확률를 출력하는 임의의 분류기와 호환되도록 설계되었으며, 랜덤 포레스트 및 k-최근접 이웃 등이 포함된다.
• 가짜 양성률 제어를 위해 유의수준 기반의 모델 선택 절차를 사용하지만, 완전한 순열 검정은 아니다.
• R, 파이썬, 루스트용 오픈소스 changeforest 패키지로 구현되어 있어 광범위한 접근성과 확장성을 확보한다.
• 시계열 상관관계가 있는 데이터의 경우, 시간적 의존성 구조를 유지하기 위해 지연 관측치를 특징으로 포함시켜 확장할 수 있다.

실험 결과

연구 질문

• RQ1 일致한 분류기의 클래스 확률 추정을 제공할 경우, 분류기 기반 비모수적 프레임워크는 다변량 시계열에서 단일 변화점을 일관되게 탐지할 수 있는가?
• RQ2 다양한 데이터 유형과 차원에서 기존 비모수적 변화점 탐지 방법과 비교해 본다면, 제안된 방법의 성능는 어떠한가?
• RQ3 특히 대규모 또는 고차원 설정에서 다중 변화점 탐지 시, 이 방법의 계산 효율성은 어떠한가?
• RQ4 중심극한법칙이 성립하지 않거나, 비정규 분포나 무거운 尾를 가진 분포, 공분산 구조 변화에 대해 이 방법은 얼마나 강건한가?
• RQ5 지연 특징을 포함시켜 시계열 상관관계가 있는 데이터를 다룰 수 있도록 확장할 수 있는가? 이 경우 탐지 정확도에 영향을 주지 않는가?

주요 결과

• 분류기의 클래스 확률 추정이 일관될 경우, 인구집단 설정 하에서 changeforest 알고리즘이 단일 변화점을 일관되게 탐지함을 증명하였다.
• 시뮬레이션 연구에서, changeforest는 KCP, MultiRank, ECP와 같은 기존 비모수적 방법보다 모든 테스트 데이터 세트에서 탐지 정확도와 F1 스코어 측면에서 뛰어난 성능을 보였다.
• changelogforest의 가짜 양성률은 데이터 세트 간에 안정적이었으며, 각각 인도, 유리, 유방암 데이터에서 3.36%, 3.76%, 3.00%로 나타나 균일성 조건 하에서 신뢰할 수 있는 제어를 보였다.
• 표본 크기와 거의 선형적인 계산 시간 스케일링을 달성하여 대규모 데이터 세트에서 효율적인 탐지가 가능했다.
• k-최근접 이웃 변형(changekNN)은 높은 가짜 양성률(유방암 데이터에서 최대 29.8%)을 보였으며, 이는 핵심 알고리즘에서 랜덤 포레스트를 사용하는 것이 유리함을 시사한다.
• changelogforest 소프트웨어 패키지는 R, 파이썬, 루스트용으로 제공되며, GitHub를 통한 오픈 액세스로 효율적인 구현과 재현 가능성, 넓은 보급을 지원한다.