[논문 리뷰] Robust real-time monitoring of high-dimensional data streams

Ruizhi Zhang, Yajun Mei외 1명|arXiv (Cornell University)|2019. 06. 05.

Advanced Statistical Process Monitoring인용 수 5

한 줄 요약

이 논문은 Tukey-Huber 근본 오차 모델과 Box-Cox 변환된 우도를 활용하여 고차원 데이터 스트림에 대한 강건하고 실시간 모니터링 프레임워크를 제안한다. 각 특징에 대해 $L_{\beta}$-CUSUM 통계량을 구성하고, 이후 소프트 스레셔딩 및 합기반 전역 경고 트리거링을 통해 관련성이 없는 특징을 걸러낸다. 이 방법은 외포값과 일시적 노이즈에 대해 강력한 내성과 함께 높은 강건성을 확보하며, 새로운 가짜 경고 붕괴점 지표를 통해 그 내성 수준을 정량화한다.

ABSTRACT

Robust real-time monitoring of high-dimensional data streams has many important real-world applications such as industrial quality control, signal detection, biosurveillance, but unfortunately it is highly non-trivial to develop efficient schemes due to two challenges: (1) the unknown sparse number or subset of affected data streams and (2) the uncertainty of model specification for high-dimensional data. In this article, motivated by the detection of smaller persistent changes in the presence of larger transient outliers, we develop a family of efficient real-time robust detection schemes for high-dimensional data streams through monitoring feature spaces such as PCA or wavelet coefficients when the feature coefficients are from Tukey-Huber's gross error models with outliers. We propose to construct a new local detection statistic for each feature called $L_{\alpha}$-CUSUM statistic that can reduce the effect of outliers by using the Box-Cox transformation of the likelihood function, and then raise a global alarm based upon the sum of the soft-thresholding transformation of these local $L_{\alpha}$-CUSUM statistics so that to filter out unaffected features. In addition, we propose a new concept called false alarm breakdown point to measure the robustness of online monitoring schemes, and also characterize the breakdown point of our proposed schemes. Asymptotic analysis, extensive numerical simulations and case study of nonlinear profile monitoring are conducted to illustrate the robustness and usefulness of our proposed schemes.

연구 동기 및 목표

• 외포값이 존재할 때도 고차원 데이터 스트림에서 소규모이면서 지속적인 변화를 탐지하는 데 도전하는 문제를 해결한다.
• 일시적 외포값과 근본 오차가 고차원 환경에서 실시간 탐지 성능에 악영향을 미치는 것을 완화한다.
• 영향을 받지 않은 특징을 걸러내면서도 미세하고 지속적인 이동에 민감하게 반응하는 강건한 전역 경고 메커니즘을 개발한다.
• 기존의 방법들과는 달리, 온라인 모니터링 체계의 강건성을 정량적으로 평가하고 비교할 수 있도록 새로운 강건성 지표인 '가짜 경고 붕괴점'을 도입하고 체계화한다.
• 점점 더 복잡한 비선형 프로파일 모니터링 사례 연구를 포함한 渐近 분석, 시뮬레이션 및 사례 연구를 통해 제안된 방법의 효과성을 입증한다.

제안 방법

• Tukey-Huber 근본 오차 모델 하에서 우도 함수를 Box-Cox로 변환하여 각 특징에 대해 국소적 $L_{\alpha}$-CUSUM 통계량을 구성함으로써 외포값의 영향을 감소시킨다.
• 변화에 영향을 받지 않는 특징의 기여도를 억제하기 위해 $L_{\alpha}$-CUSUM 통계량에 소프트 스레셔딩을 적용한다.
• 소프트 스레셔딩된 통계량을 합산하여 전역 검정 통계량을 구성하고, 의미 있는 이탈이 감지되면 시스템 전역 경고를 트리거한다.
• 주성분 분석(PCA) 또는 웨이블릿 계수와 같은 특징 공간을 활용하여 차원을 감소시키고 고차원 스트림에서 탐지 민감도를 향상시킨다.
• 가짜 경고 붕괴점을 정의하고 계산하여, 체계가 가짜 경고 비율이 수용 불가능하게 높아지기 이전까지 견딜 수 있는 외포값의 최대 비율을 나타내는 강건성의 척도로 활용한다.
• 점점 더 큰 표본에서의 점근적 이론과 시뮬레이션 연구를 통해 제안된 탐지 체계의 통계적 성질과 성능을 검증한다.

실험 결과

연구 질문

• RQ1 외포값이 존재하는 고차원 데이터 스트림에서 소규모이고 지속적인 변화를 실시간으로 탐지하는 체계는 어떻게 유지할 수 있는가?
• RQ2 고차원 모니터링 환경에서 관련성 없는 또는 영향을 받지 않은 특징을 효과적으로 걸러내면서 진짜 신호에 대한 민감도를 유지하는 방법은 무엇인가?
• RQ3 온라인 모니터링 체계의 강건성을 어떻게 체계적으로 정량화하고 비교할 수 있는가?
• RQ4 왜곡 오차에 노출된 상황에서 제안된 $L_{\alpha}$-CUSUM에 Box-Cox 변환을 적용한 방법이 기존 표준 CUSUM보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 고차원 입력을 가진 비선형 프로파일 모니터링 응용 분야에서 제안된 방법은 미세한 변화를 신뢰성 있게 탐지할 수 있는가?

주요 결과

• Box-Cox 변환을 적용한 제안된 $L_{\alpha}$-CUSUM는 국소 탐지 통계량에 대한 외포값의 영향을 크게 감소시켜 오염된 데이터 스트림에서 강건성을 향상시킨다.
• 국소 $L_{\alpha}$-CUSUM 통계량에 대한 소프트 스레셔딩은 영향을 받지 않은 특징을 효과적으로 걸러내어 전역 경고 결정에서 신호 대 노이즈 비율을 향상시킨다.
• 소프트 스레셔딩된 통계량의 합을 기반으로 한 전역 경고는 지속적인 변화에 대해 높은 탐지 능력을 확보하면서도 외포값 오염 상황에서도 낮은 가짜 경고 비율을 유지한다.
• 제안된 가짜 경고 붕괴점은 온라인 모니터링 체계의 강건성을 평가하고 비교하는 데 있어 엄밀하고 해석 가능한 척도를 제공한다.
• 점점 더 큰 표본에서의 점근적 분석은 모델 불일치 및 근본 오차 하에서도 제안된 탐지 통계량의 일致성과 수렴 성질을 확인한다.
• 수치 시뮬레이션과 비선형 프로파일 모니터링 사례 연구를 통해, 일시적 외포값이 존재하는 상황에서도 기준 대비 방법에 비해 소규모 지속적 이동을 더 뛰어나게 탐지함을 입증한다.