[論文レビュー] An Evaluation of Classification and Outlier Detection Algorithms

Joanna Hodge, Jim Austin|arXiv (Cornell University)|May 2, 2018

Anomaly Detection Techniques and Applications参考文献 3被引用数 6

ひとこと要約

この論文は、IoTおよび交通分野のリアルタイム多次元時系列データから、分類および外れ値検出のための6つの高速機械学習アルゴリズム—勾配ブースティングマシン（GBM）、ランダムフォレスト（RF）、C4.5、k-NN、ナイーブベイズ、ベイジアンネットワーク—を評価している。10のデータセットにおいてGBMは最高の分類精度を達成したが、外れ値検出では単一のアルゴリズムが優勢ではなかった。ただし、GBMとRFはバランスの取れたデータセットで優れた性能を示したが、極めて不均衡な外れ値セットでは過学習が観察された。

ABSTRACT

This paper evaluates algorithms for classification and outlier detection accuracies in temporal data. We focus on algorithms that train and classify rapidly and can be used for systems that need to incorporate new data regularly. Hence, we compare the accuracy of six fast algorithms using a range of well-known time-series datasets. The analyses demonstrate that the choice of algorithm is task and data specific but that we can derive heuristics for choosing. Gradient Boosting Machines are generally best for classification but there is no single winner for outlier detection though Gradient Boosting Machines (again) and Random Forest are better. Hence, we recommend running evaluations of a number of algorithms using our heuristics.

研究の動機と目的

• IoTおよび交通分野のリアルタイム多次元時系列データにおいて、オンライン分類および外れ値検出に適した、効率的で高速に学習可能なアルゴリズムを特定すること。
• ラベル付きの異常値を含む10の実世界の時系列データセットを用いて、アルゴリズムのパフォーマンスを多様な設定で評価すること。
• 特に新規データの定期的統合を要するシステムを想定し、データ特性に基づいたアルゴリズム選定のための実用的ヒューリスティクスを導出すること。
• 一貫したアルゴリズムおよびデータセットのセットを用いて、分類と外れ値検出の両方の精度を比較し、先行評価に起因するバイアスを回避すること。

提案手法

• 一貫性を保つために、WEKA機械学習フレームワークを用いて6つのアルゴリズム—GBM、RF、C4.5、k-NN、ナイーブベイズ、ベイジアンネットワーク—を評価した。
• 時系列の順序を保持するため、20個の連続した時系列ポイントを窓として用いてデータを前処理し、時間的順序をモデル化した。
• データ漏洩を避けるために、訓練データがテストデータよりも前に位置する標準的なトレイン/テスト分割を実施した。欠損値のクリーニングや補完は行わなかった。
• 公平な精度比較を確保するため、各アルゴリズムに対して固定数のハイパーパramータ設定を最適化した。
• 不均衡な外れ値データセットにおける過学習の緩和策として、コスト行列と木のサイズ制約を適用した。
• 主な指標として正解率を報告したが、誤検出に対する後処理の耐性があるため、適合率はあまり重要ではなかった。

実験結果

リサーチクエスチョン

• RQ1 多様な多次元時系列データセットにおいて、どの高速トレーニング機械学習アルゴリズムが最高の分類精度を達成するか？
• RQ2 同じアルゴリズムが、外れ値クラスが不均衡なデータセットにおいて、どのように外れ値検出性能を示すか？
• RQ3 オンライン分類およびリアルタイムシステムにおける異常検出のためのアルゴリズム選定を支援する一般化可能なヒューリスティクスを導出できるか？
• RQ4 GBM や RF といったアンサンブル手法が、外れ値例が極めて少ないデータセットでどの程度過学習を示すか？
• RQ5 k-NN などのインスタンスベース手法と C4.5 などのモデルベース手法は、非線形的で複雑な時系列データにおいて、どのように性能を発揮するか？

主な発見

• 勾配ブースティングマシン（GBM）は10のデータセットのうち7つで最高の分類精度を達成し、全体としても最高のパフォーマンスを示した。
• 外れ値検出においては、単一のアルゴリズムが全般に優れていたわけではなく、GBMは3つのデータセットで最高精度を記録した一方、RFは4つのデータセットで最高だった。
• ベイズとRFはデータセット全体で高い平均パフォーマンスを示したが、ベイズはいかなる1つのデータセットでも最高精度を達成しなかった。
• GBMとRFは、外れ値が7.5％にとどまる2つのオゾンデータセット（O₃¹hr および O₃⁸hr）において著しく性能を発揮できず、クラスの不均衡に起因する過学習が顕著に観察された。
• k-NN およびロジスティック回帰（LR）は、すべてのデータセットで一貫して低い性能を示し、外れ値検出のための実用的選択肢とはなり得なかった。
• C4.5 とナイーブベイズは混合した結果を示した：C4.5 は分類性能が高かったが、一部のデータセットで過学習を示した一方、ナイーブベイズは過学習に弱くないが、一般的には精度が低かった。