[論文レビュー] Which principal components are most sensitive to distributional changes?

Martin Tveten|arXiv (Cornell University)|May 15, 2019

Advanced Statistical Process Monitoring参考文献 12被引用数 3

ひとこと要約

本稿は、2変量および高次元データにおいて、最小主成分（最も変動が小さい射影）が、特にスパースな変化（例：1つの平均または分散のシフト）に対して最も感受性が高いかつ、Hellinger距離を用いて感受性を測定することで、理論的に示し、シミュレーションでも確認した。その結果、最小主成分はこのような変化を検出するうえで主要成分を上回ることを示し、高次元プロセス制御における異常検出のための原則的根拠を提供する。

ABSTRACT

PCA is often used in anomaly detection and statistical process control tasks. For bivariate data, we prove that the minor projection (the least varying projection) of the PCA-rotated data is the most sensitive to distributional changes, where sensitivity is defined by the Hellinger distance between distributions before and after a change. In particular, this is almost always the case if only one parameter of the bivariate normal distribution changes, i.e., the change is sparse. Simulations indicate that the minor projections are the most sensitive for a large range of changes and pre-change settings in higher dimensions as well. This motivates using the minor projections for detecting sparse distributional changes in high-dimensional data.

研究の動機と目的

• 多変量データにおける分布的変化に対して、どの主成分が最も感受性が高いかを特定すること。
• 従来の研究が射影の変化に注目していたのに対し、元のデータパラメータの変化に焦点を当てるという限界を克服すること。
• 実世界の異常検出において一般的な、少数のパラメータのみが変化するスパースな変化における感受性を調査すること。
• モンテカルロシミュレーションを用いて、2次元から高次元設定への理論的知見の拡張を行うこと。
• 主成分の感受性に基づいて、より効率的な変化検出および異常検出手法の設計の基盤を提供すること。

提案手法

• 主成分の周辺分布の前後変化間のHellinger距離を用いた、2次元データにおける感受性の理論的分析。
• 主成分分析（PCA）を通じて、元のデータパラメータ（平均、分散、相関）の変化が射影分布に与える影響を追跡すること。
• スパarsityレベルを変えて、平均、分散、相関に制御された変更を加えた高次元データのシミュレーション。
• モンテカルロ推定を用いて、異なる変化タイプとスパarsityに対する各成分の期待感受性（Hellinger距離）を計算すること。
• RのclusterGeneration::rcorrmatrix関数を用いて、現実的な前変化構造を保証するように一様にランダムな相関行列を生成すること。
• 変化タイプとスパarsityに応じて感受性推定を条件づけ、多様なシナリオにおける傾向を分析すること。

実験結果

リサーチクエスチョン

• RQ1 片方のパラメータ（平均、分散、相関）のみが変化する2次元正規分布において、どの主成分が分布的変化に対して最も感受性が高いか？
• RQ2 前変化の相関構造が、主成分の分布的変化に対する感受性に与える影響は何か？
• RQ3 高次元データにおいて、スパースな変化が生じた場合でも、最小主成分は依然として最も感受性が高いか？
• RQ4 高次元設定において、平均、分散、または相関に変化が生じた場合、主成分の感受性はどのように変化するか？
• RQ5 高次元データにおける異常検出や変化検出のターゲットとして、最小主成分を信頼性を持って用いることができるか？

主な発見

• 2次元データにおいて、1つの平均、1つの分散、または相関が変化する場合、最小射影が分布的変化に対して最も感受性が高い。
• 分散が減少し、かつ相関が1に近くない場合を除き、主成分は最小主成分よりも感受性が高い。
• 両方の平均が変化する場合、感受性は変化の相対的方向と大きさに依存し、変化が対称的である場合、両成分の感受性は同等になる。
• スパースな変化において、最小主成分は平均的により感受性が高いため、高次元データにおける異常検出の強力な候補となる。
• シミュレーションにより、平均的に高次元設定（D=20およびD=100）においても、最小主成分が最も感受性が高いことが確認された。これは、平均、分散、相関の変化のすべてに共通する。
• 平均的傾向とは対照的に、感受性は特定の前変化相関行列と正確な変化ベクトルに大きく依存しており、文脈依存性が顕著である。