[論文レビュー] Outlier Detection as Instance Selection Method for Feature Selection in Time Series Classification

David Cemernek|arXiv (Cornell University)|Nov 16, 2021

Anomaly Detection Techniques and Applications参考文献 1被引用数 4

ひとこと要約

本論文は、特徴選択の段階で、まれで高識別性の高いインスタンスを優先するために外れ値検出を活用する、時間系列分類のための新規インスタンス選択手法を提案する。訓練データをこれらのまれなインスタンスに限定することで、複数のデータセットで分類性能が最大16%向上し、外れ値検出が不均衡な時間系列データにおける特徴選択とモデルの解釈可能性を向上させる有効な戦略であることが示された。

ABSTRACT

In order to allow machine learning algorithms to extract knowledge from raw data, these data must first be cleaned, transformed, and put into machine-appropriate form. These often very time-consuming phase is referred to as preprocessing. An important step in the preprocessing phase is feature selection, which aims at better performance of prediction models by reducing the amount of features of a data set. Within these datasets, instances of different events are often imbalanced, which means that certain normal events are over-represented while other rare events are very limited. Typically, these rare events are of special interest since they have more discriminative power than normal events. The aim of this work was to filter instances provided to feature selection methods for these rare instances, and thus positively influence the feature selection process. In the course of this work, we were able to show that this filtering has a positive effect on the performance of classification models and that outlier detection methods are suitable for this filtering. For some data sets, the resulting increase in performance was only a few percent, but for other datasets, we were able to achieve increases in performance of up to 16 percent. This work should lead to the improvement of the predictive models and the better interpretability of feature selection in the course of the preprocessing phase. In the spirit of open science and to increase transparency within our research field, we have made all our source code and the results of our experiments available in a publicly available repository.

研究の動機と目的

• インスタンス選択を用いて特徴選択を強化することで、時間系列分類の性能を向上させること。
• まれで高識別性の高いイベントが不足している時間系列データにおけるクラス不均衡問題に対処すること。
• 外れ値検出が、特徴選択に適したまれで情報量の多いインスタンスを効果的に同定・優先できるかどうかを調査すること。
• 時間系列機械学習における前処理パイプラインの解釈可能性とロバスト性を向上させること。
• コードと実験結果を公開することで、オープンサイエンスを推進すること。

提案手法

• 本手法は、特徴選択の前段階で、訓練セットからまれで高識別性の高いインスタンスのみを同定・保持するため、外れ値検出アルゴリズムを適用する。
• 外れ値検出をフィルタリング機構として用い、過剰に代表されている通常のインスタンスを除去し、まれで情報量の高いイベントを保持する。
• フィルタリングされたデータセットを、標準的な特徴選択パイプラインで処理することで、モデル性能を向上させる。
• 局所外れ値要因（Local Outlier Factor）や1クラスSVM（One-Class SVM）などの複数の外れ値検出アルゴリズムを、インスタンス選択における有効性について評価する。
• さまざまな特徴選択器、分類器、評価指標をサポートするモジュラーなパイプラインに本手法を統合する。
• 標準的な分類ベンチマークと性能指標を用いて、多様な時間系列データセット上で本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 外れ値検出は、不均衡な時間系列データセットにおいて、まれで高識別性の高いインスタンスを効果的に同定できるか？
• RQ2 これらのまれなインスタンスのみを保持するように訓練データをフィルタリングすることで、その後の特徴選択および分類性能が向上するか？
• RQ3 異なる外れ値検出アルゴリズムは、時間系列分類のためのインスタンス選択を強化する能力において、どのように比較されるか？
• RQ4 本インスタンス選択戦略により、多様なデータセットでどの程度の性能向上が達成可能か？
• RQ5 本手法は、時間系列機械学習における特徴選択プロセスの解釈可能性とロバスト性を向上させることができるか？

主な発見

• 外れ値検出をインスタンス選択手法として用いることで、分類性能が顕著に向上し、特定の時間系列データセットでは最大16%の向上が達成された。
• 一部のデータセットでは、数パcentポイント程度のわずかな向上にとどまったが、これはデータセット依存の有効性を示している。
• 本手法は、回転フォレスト（Rotation Forest）やDTW1NNといった複数の分類器において一貫してモデル性能を向上させた。
• 本手法は、支配的で識別性の低いパターンではなく、まれで情報量の高いインスタンスに焦点を当てるため、特徴選択の解釈可能性を向上させる。
• 結果から、外れ値検出が、下流の分類精度を向上させるために訓練データをフィルタリングする有効で実用的な戦略であることが示された。
• 著者らは、多様な時間系列データセットにおいて本手法の有効性を成功裏に検証し、本手法の堅牢性と一般化可能性を確認した。