[논문 리뷰] Stein Variational Online Changepoint Detection with Applications to Hawkes Processes and Neural Networks

Gianluca Detommaso, Hanne Hoitzing외 2명|arXiv (Cornell University)|2019. 01. 23.

Point processes and geometric inequalities참고 문헌 34인용 수 5

한 줄 요약

이 논문은 스틸 변분 온라인 변화점 탐지(Stein Variational Online Changepoint Detection, SVOCD)를 제안한다. 이는 기존의 BOCPD를 가역 가족 분포를 초월해 확장하는 스케일러블한 베이지안 온라인 방법으로, 효율적인 사후 추론을 위해 베이지안 온라인 변화점 탐지와 스틸 변분 뉴턴(SVN) 방법을 결합한다. SVOCD는 하크스 프로세스와 베이지안 LSTMs와 같은 복잡한 모델에서 정확하고 실시간으로 변화점 탐지를 가능하게 하며, 사후 추정에서 SMC 기반 방법보다 우수하고, 거짓 긍정 및 거짓 부정 비율을 모두 감소시킨다.

ABSTRACT

Bayesian online changepoint detection (BOCPD) (Adams & MacKay, 2007) offers a rigorous and viable way to identify changepoints in complex systems. In this work, we introduce a Stein variational online changepoint detection (SVOCD) method to provide a computationally tractable generalization of BOCPD beyond the exponential family of probability distributions. We integrate the recently developed Stein variational Newton (SVN) method (Detommaso et al., 2018) and BOCPD to offer a full online Bayesian treatment for a large number of situations with significant importance in practice. We apply the resulting method to two challenging and novel applications: Hawkes processes and long short-term memory (LSTM) neural networks. In both cases, we successfully demonstrate the efficacy of our method on real data.

연구 동기 및 목표

• 비공액, 비가역 가족 모델에서 공액 사전이 실패하는 상황에서 베이지안 온라인 변화점 탐지(BOCPD)의 한계를 해결하기 위해.
• 복잡한 고차원 모델에서 실시간 변화점 탐지를 지원하는 계산적으로 효율적인 온라인 베이지안 추론 프레임워크를 개발하기 위해.
• 하크스 프로세스와 베이지안 LSTMs와 같이 닫힌 형태의 사후분포가 없는 모델로 BOCPD를 확장하기 위해 고도화된 변분 추론 기법을 활용하기 위해.
• 실제 데이터에서의 방법의 유효성을 입증하기 위해, 특히 금융 시계열의 구조적 이면 변화와 포인트 프로세스 역학에서의 변화를 탐지하기 위해.
• 사후 근사 정확도와 변화점 탐지 신뢰성 측면에서 SMC 기반 접근법과의 성능 비교를 위해.

제안 방법

• 베이지안 온라인 변화점 탐지(BOCPD)와 스틸 변분 뉴턴(SVN) 방법을 통합하여 온라인, 입자 기반의 사후 근사 추론을 가능하게 한다.
• 입자를 사용해 사후 분포를 표현하며, 데이터 도착에 따라 결정적 이동을 통해 진짜 사후분포를 근사하도록 반복적으로 업데이트한다.
• 이전 시간 단계의 사후분포를 다음 업데이트의 초기 입자 분포로 활용하여, 최소한의 재계산으로 빠른 온라인 추론을 가능하게 한다.
• 신경망과 포인트 프로세스에서 흔한 고차원 매개변수 공간을 다루기 위해 SVN이 SVGD보다 우수한 수렴성과 확장성을 제공함을 활용한다.
• 입자가 새로운 데이터 포인트마다 몇 번의 반복만으로 조정되는 순차적 업데이트 메커니즘을 적용하여, 낮은 탐지 지연을 확보한다.
• LSTM을 SVN으로 훈련하여 불확실성 추정을 유지하고 예측 성능을 향상시키는 방식으로 BOCPD와 베이지안 LSTMs를 통합한다.

실험 결과

연구 질문

• RQ1 SVOCD는 하크스 프로세스와 같은 가역 가족 외부 모델에서도 정확하고 실시간으로 변화점 탐지를 수행할 수 있는가?
• RQ2 SVOCD는 온라인 환경에서 복잡하고 비정규 분포의 사후분포를 근사할 때 SMC와 비교해 어떻게 성능을 내는가?
• RQ3 SVOCD는 시간에 따라 변화하는 강도를 가진 포인트 프로세스에서 생성된 시계열의 구조적 변화를 효과적으로 탐지할 수 있는가?
• RQ4 SVN을 통한 베이지안 불확실성 통합은 결정론적 훈련에 비해 LSTMs의 예측 성능을 향상시키는가?
• RQ5 기존 BOCPD 확장 기법과 비교해 SVOCD는 거짓 긍정 및 거짓 부정 비율을 어느 정도 감소시키는가?

주요 결과

• SVOCD는 실제 비트코인 가격 데이터에서 변화점을 정확하게 탐지하여, 2017년 말의 최고점과 그 후 급락을 높은 시간 정밀도로 식별했다.
• 합성 하크스 프로세스 데이터에서 SVOCD는 변화점이 있는 동안 사후 분포의 이동을 정확히 추적하는 반면, SMC는 비정규 분포 환경에서 적절한 사후 표현을 유지하지 못했다.
• SVN 기반 추론은 SMC보다 수렴 속도가 빠르고 정확도가 높았으며, 다양한 입자 수에서 공분산 추적 추정의 평균 제곱오차가 낮아서 이를 입증했다.
• SVOCD는 BOCPD와 SMC를 조합한 것보다 평균 거짓 긍정 및 거짓 부정 비율이 낮았으며, 30회의 실행에서 통계적 유의성을 확보했다.
• SVN을 통해 훈련된 베이지안 LSTMs가 결정론적 LSTMs보다 더 견고한 예측을 내는 것으로 나타났다. 사후 평균이 신호 추세를 더 잘 포착했기 때문이다.
• SVOCD의 입자 기반 사후 근사가 입자 수가 증가함에 따라 점점 진짜 사후분포에 수렴함을 통해 이론적 기반을 검증했다.