[논문 리뷰] Optimal network online change point localisation

Yi Yu, Oscar Hernán Madrid Padilla외 2명|arXiv (Cornell University)|2021. 01. 14.

Advanced Statistical Process Monitoring참고 문헌 31인용 수 9

한 줄 요약

이 논문은 인접행렬을 사용하여 동적 네트워크에 대한 계산적으로 효율적인 온라인 변화점 탐지 방법을 제안하며, 탐지 지연 시간에 대해 최소최대 최적성을 확립한다. 두 가지 다항시간 알고리즘을 도입하여 각기 다른 제1종 오류 통제 방식을 적용하며, $\lesssim \log(\Delta/\alpha) \cdot r / (\kappa_0^2 n \rho) $ 수준의 거의 최적의 탐지 지연 시간을 달성한다. 이는 이론적 하한선과 로그 인자 외에는 일치한다.

ABSTRACT

We study the problem of online network change point detection. In this setting, a collection of independent Bernoulli networks is collected sequentially, and the underlying distributions change when a change point occurs. The goal is to detect the change point as quickly as possible, if it exists, subject to a constraint on the number or probability of false alarms. In this paper, on the detection delay, we establish a minimax lower bound and two upper bounds based on NP-hard algorithms and polynomial-time algorithms, i.e., \[ \mbox{detection delay} \begin{cases} \gtrsim \log(1/α) \frac{\max\{r^2/n, \, 1\}}{κ_0^2 n ρ},\\ \lesssim \log(Δ/α) \frac{\max\{r^2/n, \, \log(r)\}}{κ_0^2 n ρ}, & \mbox{with NP-hard algorithms},\\ \lesssim \log(Δ/α) \frac{r}{κ_0^2 n ρ}, & \mbox{with polynomial-time algorithms}, \end{cases} \] where $κ_0, n, ρ, r$ and $α$ are the normalised jump size, network size, entrywise sparsity, rank sparsity and the overall Type-I error upper bound. All the model parameters are allowed to vary as $Δ$, the location of the change point, diverges. The polynomial-time algorithms are novel procedures that we propose in this paper, designed for quick detection under two different forms of Type-I error control. The first is based on controlling the overall probability of a false alarm when there are no change points, and the second is based on specifying a lower bound on the expected time of the first false alarm. Extensive experiments show that, under different scenarios and the aforementioned forms of Type-I error control, our proposed approaches outperform state-of-the-art methods.

연구 동기 및 목표

• 온라인 변화점 탐지에 대한 이론적 분석의 부족을 해결하기 위해, 랜덤 네트워크 인접행렬의 시계열에 대해 연구한다.
• 질량과 네트워크 구조를 고려한 변화점 탐지에서 탐지 지연 시간에 대한 최소최대 하한선을 수립한다.
• 두 가지 서로 다른 제1종 오류 통제 전략 하에서 거의 최적의 탐지 지연 시간을 달성하는 계산적으로 효율적인 알고리즘을 개발한다.
• 실세계 네트워크 데이터를 대상으로 광범위한 수치 실험을 통해 제안된 방법을 최첨단 기법들과 비교 검증한다.

제안 방법

• 독립적인 베르누이 인접행렬의 순차적 관측 기반으로 새로운 네트워크 온라인 변화점 탐지 프레임워크를 제안한다.
• 정규화된 점프 크기 $\kappa_0$, 네트워크 크기 $n$, 희소성 $\rho$, 질량 희소성 $r$, 제1종 오류 $\alpha$ 에 따라 의존하는 탐지 지연 시간에 대한 최소최대 하한선을 유도한다.
• 전체 거짓 경고 확률을 통제하는 알고리즘과 첫 번째 거짓 경고까지의 기대 시간에 하한을 두는 알고리즘을 포함한 두 가지 다항시간 탐지 알고리즘을 도입한다.
• 매트릭스 내적과 쌍곡선 집중을 기반으로 한 가능도 비율 검정을 사용하여 최소최대 하한선을 유도한다.
• 홉핑의 부등식과 모멘트 생성 함수의 경계를 사용하여 하한선 유도 과정에서 꼬리 확률을 통제한다.
• 매사추세츠 공과대학교의 핸드폰 상호작용 데이터셋을 대상으로 실험하여 이론적 결과를 검증하였으며, 경쟁 기법보다 빠르게 휴식 기간을 탐지하였다.

실험 결과

연구 질문

• RQ1 동적 네트워크에서 온라인 변화점 탐지에 대한 기본 한계(최소최대 하한선)는 무엇인가?
• RQ2 다항시간 알고리즘이 네트워크 변화점 탐지에서 거의 최소최대 탐지 지연 시간을 달성할 수 있는가?
• RQ3 전체 거짓 경고 확률 vs. 첫 번째 거짓 경고까지의 기대 시간을 통제하는 서로 다른 제1종 오류 통제 전략이 탐지 성능에 어떤 영향을 미치는가?
• RQ4 질량 희소성 $r$ 과 네트워크 희소성 $\rho$ 는 최소최대 의미에서 탐지 지연 시간에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 기존 최첨단 기법보다 실세계 네트워크 이질성(예: 계절적 행동)을 더 빨리 탐지할 수 있는가?

주요 결과

• 탐지 지연 시간에 대한 최소최대 하한선은 $\gtrsim \log(1/\alpha) \cdot \max\{r^2/n, 1\} / (\kappa_0^2 n \rho)$ 이며, 문제의 기본 한계를 설정한다.
• 제안된 다항시간 알고리즘은 $\lesssim \log(\Delta/\alpha) \cdot r / (\kappa_0^2 n \rho)$ 수준의 탐지 지연 시간을 달성하며, 로그 인자 외에는 하한선과 일치한다.
• MIT 핸드폰 데이터에서 2004년 12월 27일과 2005년 3월 31일에 변화점을 탐지하였으며, 경쟁 기법이 2005년 1월 30일과 4월 6일에 탐지한 것보다 빠르게 탐지하였다.
• 이론적 분석은 $r \gtrsim \sqrt{n}$ 인 경우 하한선이 날카로워지며, 제안된 방법의 최적성은 검증된다.
• 다양한 네트워크 환경에서 기존 방법보다 빠른 탐지 성능을 달성하면서도 강력한 제1종 오류 통제를 유지한다.
• 연구는 질량 희소성 $r$ 과 정규화된 점프 크기 $\kappa_0$ 가 탐지 지연 시간에 결정적인 영향을 미치며, 높은 $r$ 과 $\kappa_0$ 는 더 빠른 탐지 가능성을 보여준다.