[논문 리뷰] A Two-stage Online Monitoring Procedure for High-Dimensional Data Streams

Jun Li|arXiv (Cornell University)|2017. 12. 14.

Advanced Statistical Process Monitoring참고 문헌 9인용 수 3

한 줄 요약

이 논문은 사용자가 지정한 수준에서 제어상태 평균 운행길이(IC-ARL)와 제1종 오류율(거짓 발견률, FDR)을 동시에 제어하는 고차원 데이터 스트림을 위한 이중단계 온라인 모니터링 절차를 제안한다. 기존의 단일단계 방법들이 전역적 FDR 제어를 갖추지 못하거나 IC-ARL과 탐지 민감도 사이의 트레이드오프를 강요하는 데에 한계가 있음을 고려할 때, 이 방법은 거짓 경고 제어와 탐지 능력의 분리에 기반하여 이를 극복한다.

ABSTRACT

Advanced computing and data acquisition technologies have made possible the collection of high-dimensional data streams in many fields. Efficient online monitoring tools which can correctly identify any abnormal data stream for such data are highly sought after. However, most of the existing monitoring procedures directly apply the false discover rate (FDR) controlling procedure to the data at each time point, and the FDR at each time point (the point-wise FDR) is either specified by users or determined by the in-control (IC) average run length (ARL). If the point-wise FDR is specified by users, the resulting procedure lacks control of the global FDR and keeps users in the dark in terms of the IC-ARL. If the point-wise FDR is determined by the IC-ARL, the resulting procedure does not give users the flexibility to choose the number of false alarms (Type-I errors) they can tolerate when identifying abnormal data streams, which often makes the procedure too conservative. To address those limitations, we propose a two-stage monitoring procedure that can control both the IC-ARL and Type-I errors at the levels specified by users. As a result, the proposed procedure allows users to choose not only how often they expect any false alarms when all data streams are IC, but also how many false alarms they can tolerate when identifying abnormal data streams. With this extra flexibility, our proposed two-stage monitoring procedure is shown in the simulation study and real data analysis to outperform the exiting methods.

연구 동기 및 목표

• 기존의 고차원 데이터 스트림을 위한 온라인 모니터링 절차에서 전역적 거짓 발견률(FDR) 제어의 부재를 해결하기 위해.
• 현재의 방법들이 점별 FDR을 제어상태 평균 운행길이(IC-ARL)에 묶어 놓는 유연성 부족 문제를 해결하기 위해.
• 제어상태 평균 운행길이(IC-ARL)와 제1종 오류율(FDR)을 독립적으로 지정할 수 있도록 사용자가 원하는 수준을 설정할 수 있는 모니터링 체계를 개발하기 위해.
• 이중단계 의사결정 프레임워크를 도입하여 고차원 스트리밍 데이터에서 탐지 능력과 거짓 경고 제어를 향상시키기 위해.

제안 방법

• 첫 번째 단계에서 CUSUM 통계량을 사용하여 각 데이터 스트림의 p-값을 계산하고, 두 번째 단계에서 이 p-값들에 대해 거짓 발견률(FDR) 제어 절차를 적용하는 이중단계 모니터링 전략을 제안한다.
• 제어상태 평균 운행길이(IC-ARL) 제어와 제1종 오류율(FDR) 제어를 분리함으로써, 사용자가 둘 다 독립적으로 지정할 수 있도록 하는 새로운 이중단계 의사결정 규칙을 도입한다.
• 전역 FDR을 제어하기 위해 두 번째 단계에서 임계값을 조정하는 계층적 검정 프레임워크를 사용하며, 첫 번째 단계의 제어 한계를 校정함으로써 IC-ARL를 유지한다.
• 가능도 비율 기반 접근법을 활용하여 이중단계 절차가 가능도 비율에서 단조성을 확보함으로써, 근본가설과 대립가설 하에서 유효한 FDR 제어를 보장함을 증명한다.
• 귀무가설과 대립가설 하에서의 밀도함수를 이용해 p-값과 검정 통계량 간의 관계를 유도함으로써, 모니터링 문제를 p-값 공간으로 변환할 수 있도록 한다.
• 검정 통계량 간의 의존성 구조를 활용하여, 시간에 따라 전역적으로 FDR을 제어할 수 있도록 p-값 변환을 적용함으로써, 각 시점에서의 점별 제어가 아닌 전반적인 제어를 달성한다.

실험 결과

연구 질문

• RQ1 문헌에서 일반적으로 가정하는 바와 같이, 각 시점에서의 점별 FDR을 제어하는 것이 시간 창 내에서의 전역 FDR 제어를 보장하는가?
• RQ2 사용자가 지정한 수준에서 제어상태 평균 운행길이(IC-ARL)와 제1종 오류율(FDR)을 동시에 제어할 수 있는 모니터링 절차가 가능한가?
• RQ3 이중단계 절차는 고차원 스트리밍 데이터에서 기존의 단일단계 방법에 비해 탐지 능력과 거짓 경고 제어 측면에서 어떻게 비교되는가?
• RQ4 사용자가 지정한 IC-ARL 및 FDR 수준이 실제 응용에서 모니터링 절차의 성능에 어떤 영향을 미치는가?

주요 결과

• 논문은 점별 FDR을 제어한다고 해서 전역 FDR 제어가 보장되지 않음을 입증하며, 문헌에서 널리 공유된 가정에 도전한다.
• 제안된 이중단계 절차는 사용자가 지정한 수준에서 IC-ARL과 전역 FDR을 모두 성공적으로 제어하며, 기존의 단일단계 방법보다 더 큰 융통성과 유연성을 제공한다.
• 시뮬레이션 연구 결과, 특히 데이터 스트림 수가 많을 경우, 이중단계 방법이 기존 절차보다 탐지 속도와 거짓 경고 제어 측면에서 뛰어난 성능을 보인다.
• 이 방법은 사용자가 원하는 수준의 제1종 오류 수용 수준을 선택할 수 있도록 하면서도, 기존의 점별 FDR을 IC-ARL에 고정하는 방법에서 발생하는 보수적인 트레이드오프를 피할 수 있다.
• 네트워크 트래픽 및 건강 모니터링 데이터에 대한 실제 데이터 분석 결과, 이 방법은 더 적은 거짓 경고로 이상 상태 스트림를 보다 효과적으로 식별함을 확인한다.
• 이론적 증명을 통해 검정 통계량의 가능도 비율이 단조성을 가지며, 이는 이중단계 의사결정 규칙 하에서 FDR 제어의 타당성을 보장한다.