[論文レビュー] A Multivariate Extreme Value Theory Approach to Anomaly Clustering and Visualization

Maël Chiapino, Stéphan Clémençon+2 more|arXiv (Cornell University)|Jul 17, 2019

Financial Risk and Volatility Modeling参考文献 49被引用数 9

ひとこと要約

本稿では、異常タイプを潜在変数として扱い、多次元データにおける極端な事象をクラスタリングおよび可視化するため、多変量極値理論（MEV）に基づく混合モデルを提案する。極端な分布を変数の部分集合群におけるソフト混合としてモデル化することで、異常同士の類似性を測る指標を導出し、スペクトルクラスタリングおよびグラフマイニング手法を用いて効果的な2次元可視化を実現する。実際の航空宇宙分野およびUCIのデータセットにおいて、K-meansやスペクトルクラスタリングと比較して、クラスタリング純度が優れている。

ABSTRACT

In a wide variety of situations, anomalies in the behaviour of a complex system, whose health is monitored through the observation of a random vector X = (X1,. .. , X d) valued in R d , correspond to the simultaneous occurrence of extreme values for certain subgroups $\\alpha$ $\\subset$ {1,. .. , d} of variables Xj. Under the heavy-tail assumption, which is precisely appropriate for modeling these phenomena, statistical methods relying on multivariate extreme value theory have been developed in the past few years for identifying such events/subgroups. This paper exploits this approach much further by means of a novel mixture model that permits to describe the distribution of extremal observations and where the anomaly type $\\alpha$ is viewed as a latent variable. One may then take advantage of the model by assigning to any extreme point a posterior probability for each anomaly type $\\alpha$, defining implicitly a similarity measure between anomalies. It is explained at length how the latter permits to cluster extreme observations and obtain an informative planar representation of anomalies using standard graph-mining tools. The relevance and usefulness of the clustering and 2-d visual display thus designed is illustrated on simulated datasets and on real observations as well, in the aeronautics application domain.

研究の動機と目的

• 複雑なシステムにおいて、変数の部分集合が同時に極端な値をとることで生じる、まれで多次元的な極端な事象のクラスタリングおよび可視化の課題に対処すること。
• 極端な観測値の分布を、異常タイプごとに定義された潜在変数としての混合モデルとして記述する統計的フレームワークを構築すること。
• 異常タイプの事後確率に基づいた類似性指標を導出し、効果的なクラスタリングおよび2次元可視化を可能にすること。
• 実世界の航空宇宙飛行データおよびベンチマーク用UCIデータセットを用いて、本手法の有効性を示し、標準的手法よりも優れたクラスタリング性能を示すこと。
• 極端な事象同士の依存関係を理解することが不可欠な安全が重要な分野（例：航空輸送）における、堅牢で解釈可能な異常分析手法を提供すること。

提案手法

• 極端な観測値の分布を有限混合モデルで記述し、各成分が特定の異常タイプα（同時に極端な値をとる可能性がある変数の部分集合）に対応する。
• モデルは多変量極値理論（MEV）に基づき、単位球面上での極限的依存構造を記述するための角度測度を活用する。
• 各極端な観測値について、異常タイプαの事後確率を推定するために、期待値最大化（EM）アルゴリズムを用いた潜在変数推論を実施する。
• 事後確率から類似性指標を導出し、グラフベースの表現およびクラスタリングを可能にする。
• 類似性グラフに対してスペクトルクラスタリングを適用し、ノードのサイズおよび色がクラスタのサイズおよび内部結合性を示す2次元可視化を生成する。
• 本手法は合成データおよび実データ（82パラメータの18,553件の飛行記録、12,414件のUCIシャトルデータセット）を用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 変数の部分集合が同時に極端な値をとることで生じる異常をモデル化・クラスタリングするため、多変量極値理論をどのように拡張できるか。
• RQ2 潜在異常タイプを有する混合モデルは、K-means やスペクトルクラスタリングなどの標準的手法よりも、より解釈可能で効果的な極端な事象のクラスタリングを可能にするか。
• RQ3 本手法で提案された類似性指標は、多次元の極端なデータにおける異常同士の意味的な構造的関係をどれほど的確に捉えられるか。
• RQ4 得られた2次元可視化は、実世界の応用において、潜在的なクラスタ構造および異常間の依存関係をどれほど効果的に明らかにできるか。
• RQ5 本手法は、ベースラインアルゴリズムと比較して、まれで極端な事象のクラスタリング純度をどの程度向上させるか。

主な発見

• UCIシャトルデータセットにおいて、100件の極端な点を対象に、本手法は純度スコア0.85を達成し、K-means（0.80）およびスペクトルクラスタリング（0.80）を上回った。
• 300件の極端な飛行データに対して、本手法は18の意味のあるグループに異常を効果的にクラスタリングした。スペクトルクラスタリングによる可視化では、濃い色で大きなクラスタに高い内部結合性が確認された。
• 事後確率から導出した類似性指標により、効果的なグラフベースのクラスタリングおよび2次元可視化が実現され、異常構造の解釈可能なインサイトが得られた。
• 航空宇宙分野のデータセットにおいて、健康/運用データの異常と運用イベントとの間の依存関係が明らかになり、健康指標の開発を支援した。
• 混合モデルフレームワークにより、統計的に根拠のあるスパース表現が得られ、極端な挙動を引き起こす主要な変数の部分集合αをわずかに特定した。
• 実験的結果から、本手法は極端な事象のサンプルサイズが変化しても、純度の面で標準的なクラスタリングアルゴリズムを一貫して上回ることが示された。