[論文レビュー] Functional Isolation Forest

Guillaume Staerman, Pavlo Mozharovskyi+2 more|arXiv (Cornell University)|Apr 9, 2019

Anomaly Detection Techniques and Applications被引用数 18

ひとこと要約

本稿では、次元削減を回避して無限次元関数空間を直接ランダム関数的分割によって分割することで、関数データにおける異常検出のための、隔離木の新規拡張版である機能的隔離フォレスト（FIF）を導入する。FIFはベンチマークデータセットで最先端の性能を達成しており、ECG5000ではAUCスコアが0.95を超えるほか、多様な関数的時系列において高い検出精度を示し、計算効率と解釈可能性を維持している。

ABSTRACT

For the purpose of monitoring the behavior of complex infrastructures (e.g. aircrafts, transport or energy networks), high-rate sensors are deployed to capture multivariate data, generally unlabeled, in quasi continuous-time to detect quickly the occurrence of anomalies that may jeopardize the smooth operation of the system of interest. The statistical analysis of such massive data of functional nature raises many challenging methodological questions. The primary goal of this paper is to extend the popular Isolation Forest (IF) approach to Anomaly Detection, originally dedicated to finite dimensional observations, to functional data. The major difficulty lies in the wide variety of topological structures that may equip a space of functions and the great variety of patterns that may characterize abnormal curves. We address the issue of (randomly) splitting the functional space in a flexible manner in order to isolate progressively any trajectory from the others, a key ingredient to the efficiency of the algorithm. Beyond a detailed description of the algorithm, computational complexity and stability issues are investigated at length. From the scoring function measuring the degree of abnormality of an observation provided by the proposed variant of the IF algorithm, a Functional Statistical Depth function is defined and discussed as well as a multivariate functional extension. Numerical experiments provide strong empirical evidence of the accuracy of the extension proposed.

研究の動機と目的

• 高レート、ラベルなし、連続時間での複雑なシステムの監視を想定した、関数データに特化した非パラメトリックな異常検出手法の不足に対処すること。
• 元来有限次元データを想定して設計された隔離フォレストアルゴリズムを、次元削減に依存せずに無限次元関数空間へと拡張すること。
• 内在的な幾何的およびトポロジカル特性に基づいて異常な関数的軌道を隔離できる、柔軟で計算的に効率的かつ解釈可能な手法を開発すること。
• FIFスコア関数から導出される関数的深度を定義し、頑健な異常順位付けと多次元関数的拡張を可能にする。

提案手法

• 関数空間の分割を再帰的に行う関数的隔離フォレスト（FIF）の拡張を提案し、辞書からランダムに選択された基底関数との内積によって定義されるランダム関数的分割を用いる。
• L2可積分関数空間（ヒルバート空間）におけるランダムな分割手順を採用し、関数空間内の単位球から分割方向を一様にランダムに選ぶことで、柔軟性を確保しバイアスを回避する。
• 関数的観測値をアンサンブル内の隔離木で隔離するために必要な平均パス長に基づくスコア関数を採用し、パスが短いほど異常度が高くなる。
• FIFの異常スコアから関数的統計的深度関数を定義し、関数的データの順位付けと、成分別に辞書を適用することによる多次元関数的データへの拡張を可能にする。
• 多次元関数的データをヒルバート空間のテンソル積に射影し、変数間の依存関係を捉えるための共同辞書を用いることで、多次元関数的拡張を実現する。
• 異常検出におけるしきい値選択に「視覚的肘則」を適用し、MNISTベースの数字の輪郭や心電図信号などの実データセットで検証した。

実験結果

リサーチクエスチョン

• RQ1 次元削減に依存せずに、隔離フォレストアルゴリズムを無限次元関数データに成功裏に一般化できるか？
• RQ2 多様なトポロジカル構造と複雑な関数的パターンを有する関数空間において、ランダム分割をどのように意味的に定義できるか？
• RQ3 辞書の選定と分割メカニズムの選択が、関数データにおける異常検出の頑健性と精度に与える影響は何か？
• RQ4 FIFの異常スコアは、既存の関数的深度概念とどのように関係しており、新たな関数的深度測度を定義するために利用可能か？
• RQ5 FIFフレームワークは多次元関数的データに効果的に拡張可能か？また、実世界の多次元関数的データセットにおいてはどのように性能を示すか？

主な発見

• FIFはECG5000データセットでAUCスコア0.95を達成し、実世界の関数的異常検出タスクにおける優れた性能を示している。
• ECG200データセットでは、sym14ウェーブレット基底を用いた場合、AUCが0.83に達し、心電図曲線における微細な異常にも高い感度を示している。
• 110サンプルの数字データセットにおいて15件の異常を検出でき、視覚的に「7」クラスから逸脱する10個の「2」数字のうち5つを正しく同定した。
• 次元削減の過程で消失する可能性のある重要な関数的特徴を保持するため、従来のフィルタリングベースのアプローチに比べて優れている。
• FIFスコアから導出された関数的深度は、関数的データにおける中心性と外れ値の直感的認識と強く整合している。
• FIFの多次元関数的拡張は、SonyRobotAI1およびSonyRobotAI2の多次元曲線においても異常を効果的に検出でき、AUCスコアが0.85以上を記録した。