[논문 리뷰] Compound Sequential Change Point Detection in Multiple Data Streams

Yunxiao Chen, Xiaoou Li|arXiv (Cornell University)|2019. 09. 12.

Advanced Statistical Process Monitoring참고 문헌 37인용 수 4

한 줄 요약

이 논문은 다수의 데이터 스트림에 대해 베이지안 복합 순차적 변화점 탐지 프레임워크를 제안하며, 각 스트림은 변화점이 탐지된 후 비활성화된다. 이 방법은 시간이 지남에 따라 활성 스트림 중 변화 후 스트림의 기대 비율을 최적화로 제어하며, 이러한 제약 조건 하에서 최적임이 입증된 오라클 절차를 제공하고, 스트림 수가 커질 경우의 점근적 성질을 새로운 스토크라스틱 프로세스 및 부분적으로 순서가 지정된 공간 도구를 사용하여 수립한다.

ABSTRACT

We consider sequential change point detection in multiple data streams, where each stream has its own change point. Once a change point is detected for a data stream, this stream is deactivated permanently. The goal is to maximize the normal operation of the pre-change streams, while controlling the proportion of post-change streams among the active streams at all time points. This problem has wide applications in science, social science, and engineering. Taking a Bayesian formulation, we develop a compound sequential decision theory framework for this problem. Under this framework, an oracle procedure is proposed that is optimal among all sequential procedures which control the expected proportion of post-change streams at each time point. We also investigate the asymptotic behavior of the proposed method when the number of data streams grows large. Several non-standard technical tools involving partially ordered spaces and monotone coupling of stochastic processes are developed for proving the optimality result. Numerical examples are provided to illustrate the use and performance of the proposed method.

연구 동기 및 목표

• 각 스트림이 개별적인 변화점을 가지는 다수의 데이터 스트림에서 순차적 변화점 탐지 문제를 다루는 것.
• 모든 시점에서 변화 후 스트림 비율의 기대값을 제어하면서도 사전 변화 스트림의 정상 작동을 최대화하는 것.
• 엄격한 비율 제약 조건 하에서 탐지 정확도와 스트림 관리의 균형을 이루는 의사결정 이론 프레임워크를 개발하는 것.
• 스트림 수가 증가함에 따라 방법의 점근적 행동을 조사하는 것.
• 스토크라스틱 프로세스 및 부분적으로 순서가 지정된 공간 분야의 고급 도구를 사용하여 제안된 절차의 이론적 최적성을 확립하는 것.

제안 방법

• 다수의 데이터 스트림과 그 변화점의 동시 진화를 모델링하기 위해 베이지안 설정을 사용한다.
• 변화 후 스트림 비율에 대한 비율 제약 조건을 만족하는 모든 순차적 절차 중에서 최적임이 입증된 오라클 절차를 구성한다.
• 한 스트림에 대한 탐지가 이루어지면 해당 스트림이 영구적으로 비활성화되는 복합 결정 구조를 활용한다.
• 최적성 증명을 위해 단조성 쌍체화 기법과 부분적으로 순서가 지정된 스토크라스틱 프로세스를 활용한 새로운 기술 도구를 개발한다.
• 모든 시점에서 활성 스트림 중 변화 후 스트림의 기대 비율이 항상 유계임을 보장하는 프레임워크를 확립한다.
• 스트림 수가 무한으로 갈 때 성능을 분석하기 위해 점근적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 활성 스트림 중 변화 후 스트림 비율을 제어하면서 다수의 데이터 스트림에서 변화점을 최적으로 탐지하는 방법은 무엇인가?
• RQ2 변화 후 스트림 비율의 기대값에 대한 제약 조건 하에서 최적의 순차적 절차의 구조는 어떠한가?
• RQ3 스트림 수가 증가함에 따라 제안된 방법의 성능은 어떻게 변화하는가?
• RQ4 이 복합 탐지 설정에서 최적성을 증명하기 위해 필요한 새로운 수학적 도구는 무엇인가?
• RQ5 제안된 방법이 고차원 스트림 환경에서 점근적으로 최적임을 입증할 수 있는가?

주요 결과

• 제안된 오라클 절차는 모든 시점에서 변화 후 스트림 비율의 기대값을 제어하는 모든 순차적 절차 중에서 최적임이 입증되었다.
• 이 방법은 장기적으로 변화 후 스트림 비율을 제어하여 모든 시점에서 시스템 신뢰성을 유지한다.
• 스트림 수가 증가함에 따라 방법은 유리한 점근적 행동을 보이며, 고급 스토크라스틱 프로세스 도구를 사용하여 수렴 성질이 도출된다.
• 부분적으로 순서가 지정된 스토크라스틱 프로세스에 대한 단조성 쌍체화 기법의 개발은 이 비.i.i.d. 복합 탐지 설정에서 최적성 증명을 가능하게 한다.
• 수치 예제들은 실제 적용에서 변화점 탐지 능력과 낮은 변화 후 스트림 비율 유지를 동시에 달성함을 보여준다.
• 이론적 프레임워크는 대규모 스트리밍 응용 분야에서 확장 가능하고 신뢰할 수 있는 변화점 탐지의 기초를 제공한다.