[論文レビュー] A Two-stage Online Monitoring Procedure for High-Dimensional Data Streams

Jun Li|arXiv (Cornell University)|Dec 14, 2017

Advanced Statistical Process Monitoring参考文献 9被引用数 3

ひとこと要約

本稿は、ユーザーが指定した水準で、制御下平均連続長（IC-ARL）と第一種誤り率（偽発見率、FDR）を同時に制御する高次元データストリーム向け二段階オンライン監視手順を提案する。誤報の制御と検出力の分離により、従来の単一段階手法が有する限界（全体的なFDR制御の欠如、またはIC-ARLと検出感度のトレードオフ）を克服する。

ABSTRACT

Advanced computing and data acquisition technologies have made possible the collection of high-dimensional data streams in many fields. Efficient online monitoring tools which can correctly identify any abnormal data stream for such data are highly sought after. However, most of the existing monitoring procedures directly apply the false discover rate (FDR) controlling procedure to the data at each time point, and the FDR at each time point (the point-wise FDR) is either specified by users or determined by the in-control (IC) average run length (ARL). If the point-wise FDR is specified by users, the resulting procedure lacks control of the global FDR and keeps users in the dark in terms of the IC-ARL. If the point-wise FDR is determined by the IC-ARL, the resulting procedure does not give users the flexibility to choose the number of false alarms (Type-I errors) they can tolerate when identifying abnormal data streams, which often makes the procedure too conservative. To address those limitations, we propose a two-stage monitoring procedure that can control both the IC-ARL and Type-I errors at the levels specified by users. As a result, the proposed procedure allows users to choose not only how often they expect any false alarms when all data streams are IC, but also how many false alarms they can tolerate when identifying abnormal data streams. With this extra flexibility, our proposed two-stage monitoring procedure is shown in the simulation study and real data analysis to outperform the exiting methods.

研究の動機と目的

• 高次元データストリーム向け既存のオンライン監視手順に見られるグローバルな偽発見率（FDR）制御の欠如を解消すること。
• 現在の手法が点ごとのFDRを制御下平均連続長（IC-ARL）に束縛する柔軟性の欠如を是正すること。
• 制御下平均連続長（IC-ARL）と第一種誤り率（FDR）の希望水準を独立に指定できる監視スキームの開発。
• 二段階意思決定フレームワークの導入により、高次元ストリーミングデータにおける検出力と誤報制御の向上。

提案手法

• 第一段階でCUSUM統計量を用いて各データストリームのp値を計算し、第二段階でそのp値に偽発見率（FDR）制御手順を適用する二段階監視戦略を提案する。
• 制御下平均連続長（IC-ARL）の制御と第一種誤り率（FDR）の制御を分離する独自の二段階意思決定ルールを導入し、両者の独立したユーザー指定を可能にする。
• 第二段階の閾値調整によりグローバルFDRを制御する階層的仮説検定フレームワークを採用し、第一段階の制御限界のキャリブレーションによりIC-ARLを維持する。
• 尤度比に基づくアプローチを用いて、二段階手順が尤度比の単調性を満たすことを証明し、帰無仮説および対立仮説の下で有効なFDR制御を保証する。
• 帰無仮説および対立仮説の下での確率密度関数を用いてp値と検定統計量の関係を導出し、監視問題をp値空間に変換可能にする。
• 検定統計量間の依存構造を活用してp値変換を実施し、各時刻での点ごとのFDR制御にとどまらず、時間的全体にわたるグローバルFDR制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 各時刻での点ごとのFDRを制御することが、時間窓全体にわたるグローバルFDRの制御を保証するのだろうか。これは文献で一般的に仮定されていることである。
• RQ2 監視手順がユーザー指定の水準で制御下平均連続長（IC-ARL）と第一種誤り率（FDR）を同時に制御できるのだろうか。
• RQ3 二段階手順は、高次元ストリーミングデータにおける検出力と誤報制御の観点で、単一段階手法に比べてどのように優れているのか。
• RQ4 ユーザーが指定するIC-ARLおよびFDR水準が、実世界の応用における監視手順のパフォーマンスに与える影響は何か。

主な発見

• 本稿は、点ごとのFDRを制御してもグローバルFDRが保証されないことを示し、文献で広く共有されている仮定に疑問を呈する。
• 提案された二段階手順は、ユーザー指定の水準でIC-ARLとグローバルFDRの両方を効果的に制御でき、従来の単一段階手法に比べてより高い柔軟性を提供する。
• シミュレーション研究により、特にデータストリーム数が多い場合に、二段階法が検出速度および誤報制御の点で既存手法を上回ることを示す。
• 本手法は、ユーザーが望む第一種誤り率の許容度を自由に選べる一方で、望ましいIC-ARLを維持でき、点ごとのFDRをIC-ARLで固定する手法に内在する保守的トレードオフを回避する。
• ネットワークトラフィックおよび健康モニタリングデータを用いた実データ解析により、本手法が誤報を少なく抑えつつ制御外ストリームをより効果的に同定できることを確認する。
• 理論的証明により、検定統計量の尤度比が単調であることが示され、二段階意思決定ルール下でのFDR制御の有効性が保証される。