[論文レビュー] Robust real-time monitoring of high-dimensional data streams

Ruizhi Zhang, Yajun Mei+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Statistical Process Monitoring被引用数 5

ひとこと要約

本稿では、Tukey-Huberの外れ値モデルとBox-Cox変換された尤度関数を活用して、各特徴量ごとに$L_{\beta}$-CUSUM統計量を構築し、その後にソフトスレッショーディングと合算ベースのグローバルアラーム発動を施すことにより、高次元データストリームのロバストでリアルタイムな監視フレームワークを提案する。この手法は外れ値および一時的なノイズに対して強いロバスト性を示し、その耐性を定量化する新しい誤アラーム破綻点指標を導入している。

ABSTRACT

Robust real-time monitoring of high-dimensional data streams has many important real-world applications such as industrial quality control, signal detection, biosurveillance, but unfortunately it is highly non-trivial to develop efficient schemes due to two challenges: (1) the unknown sparse number or subset of affected data streams and (2) the uncertainty of model specification for high-dimensional data. In this article, motivated by the detection of smaller persistent changes in the presence of larger transient outliers, we develop a family of efficient real-time robust detection schemes for high-dimensional data streams through monitoring feature spaces such as PCA or wavelet coefficients when the feature coefficients are from Tukey-Huber's gross error models with outliers. We propose to construct a new local detection statistic for each feature called $L_{\alpha}$-CUSUM statistic that can reduce the effect of outliers by using the Box-Cox transformation of the likelihood function, and then raise a global alarm based upon the sum of the soft-thresholding transformation of these local $L_{\alpha}$-CUSUM statistics so that to filter out unaffected features. In addition, we propose a new concept called false alarm breakdown point to measure the robustness of online monitoring schemes, and also characterize the breakdown point of our proposed schemes. Asymptotic analysis, extensive numerical simulations and case study of nonlinear profile monitoring are conducted to illustrate the robustness and usefulness of our proposed schemes.

研究の動機と目的

• 外れ値の影響を受けるが、スパースでモデル仕様が不確実な高次元データストリームにおいて、微小で持続的な変化を検出する課題に対処すること。
• 一時的な外れ値や外れ値の影響が、高次元環境下でのリアルタイム検出性能に悪影響を及えるのを克服すること。
• 影響を受けない特徴量をフィルタリングしながらも、微小で持続的なシフトに感度を保つ、ロバストなグローバルアラームメカニズムを構築すること。
• オンライン監視スキームの評価・比較を可能にするために、新しいロバスト性指標「誤アラーム破綻点」を導入・形式化すること。
• 漸近的解析、シミュレーション、非線形プロファイル監視の事例研究を通じて、本手法の有効性を示すこと。

提案手法

• Tukey-Huberの外れ値モデル下での尤度関数をBox-Cox変換し、各特徴量に対して局所的な$L_{\alpha}$-CUSUM統計量を構築することで、外れ値の影響を低減する。
• 変化の影響を受けていない特徴量からの寄与を抑えるために、$L_{\alpha}$-CUSUM統計量にソフトスレッショーディングを適用する。
• ソフトスレッショーディングを施した統計量を合算することでグローバル統計量を構築し、顕著な逸脱が検出された際にシステムワイドなアラームを発動する。
• 次元削減を高次元ストリームにおける検出感度を向上させるために、PCAやウェーブレット係数などの特徴空間を活用する。
• 誤アラーム破綻点を定義・計算し、ロバスト性の指標として用いる。これは、誤アラーム率が許容不能に上昇するまでの外れ値の最大割合を表す。
• 漸近的理論とシミュレーション研究を活用して、提案手法の統計的性質および性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 外れ値が存在する高次元データストリームにおいて、リアルタイム監視スキームが微小で持続的な変化を高検出力で維持できるか。
• RQ2 高次元監視において、関係のないまたは影響を受けない特徴量を効果的にフィルタリングし、真の信号への感度を保てるか。
• RQ3 オンライン監視スキームのロバスト性を形式的に定量化・比較できるか。
• RQ4 提案手法の$L_{\alpha}$-CUSUMにBox-Cox変換を適用した手法が、外れ値汚染下で標準CUSUMをどの程度上回るか。
• RQ5 高次元入力を伴う非線形プロファイル監視応用において、本手法は微小な変化を信頼性高く検出できるか。

主な発見

• Box-Cox変換を施した提案$L_{\alpha}$-CUSUMは、外れ値の局所的検出統計量への影響を顕著に低減し、汚染されたデータストリームにおけるロバスト性を向上させる。
• 局所的$L_{\alpha}$-CUSUM統計量に対するソフトスレッショーディングは、影響を受けない特徴量の寄与を効果的にフィルタリングし、グローバルアラーム意思決定における信号対雑音比を向上させる。
• ソフトスレッショーディングを施した統計量の合算に基づくグローバルアラームは、持続的変化に対して高い検出力を示し、外れ値汚染下でも低い誤アラーム率を維持する。
• 導入された誤アラーム破綿点は、オンライン監視スキームのロバスト性を評価・比較するための厳密で解釈可能な指標を提供する。
• 漸近的解析により、モデル不適合および外れ値の影響下でも、提案検出統計量の一貫性および収束性が確認された。
• 数値的シミュレーションおよび非線形プロファイル監視の事例研究により、一時的な外れ値が存在する中で微小で持続的なシフトを検出する際、本手法がベースライン手法を上回る優れた性能を示した。