[論文レビュー] Early Classification of Time Series. Cost-based Optimization Criterion and Algorithms

Youssef Achenchabe, Alexis Bondu+2 more|arXiv (Cornell University)|May 20, 2020

Time Series Analysis and Forecasting参考文献 14被引用数 7

ひとこと要約

本稿では、誤分類リスクと早期決定のバランスを取るために、非マイトロピックでコストに基づく最適化フレームワークを提案する。教師付き信頼度ベースのグループ化と、新規の平均コスト基準を活用することで、多数の実世界のデータセットおよび遅延コスト関数において、最先端のマイトロピック手法を著しく上回る性能を発揮するEconomyアルゴリズムを提案する。

ABSTRACT

An increasing number of applications require to recognize the class of an incoming time series as quickly as possible without unduly compromising the accuracy of the prediction. In this paper, we put forward a new optimization criterion which takes into account both the cost of misclassification and the cost of delaying the decision. Based on this optimization criterion, we derived a family of non-myopic algorithms which try to anticipate the expected future gain in information in balance with the cost of waiting. In one class of algorithms, unsupervised-based, the expectations use the clustering of time series, while in a second class, supervised-based, time series are grouped according to the confidence level of the classifier used to label them. Extensive experiments carried out on real data sets using a large range of delay cost functions show that the presented algorithms are able to satisfactorily solving the earliness vs. accuracy trade-off, with the supervised-based approaches faring better than the unsupervised-based ones. In addition, all these methods perform better in a wide variety of conditions than a state of the art method based on a myopic strategy which is recognized as very competitive.

研究の動機と目的

• 医療や電力網など高リスク応用分野を念頭に、リアルタイム時系列分類における早期性と正確性のトレードオフを解消する。
• 誤分類コストと遅延コストの両方を考慮した汎用的なコストベースの最適化基準を形式化する。
• 将来の情報利得を予測することで、最適な早期意思決定タイミングを選択する非マイトロピックなアルゴリズムを開発する。
• 多数の遅延コスト関数と実データセットを用いて、提案フレームワークを最先端手法と比較評価する。
• 非マイトロピック意思決定の影響と、教師あり vs 教師なしグループ化戦略の優位性を調査する。

提案手法

• 誤分類コストと遅延コストを統合した、汎用的なコストベースの最適化基準を提案し、単一の目的関数として定式化する。
• クラスタリング（非教師あり）と分類器の信頼度（教師あり）を用いて、将来の意思決定コストを推定する3つの非マイトロピックアルゴリズム（Economy-K, Economy-multi-K, Economy-γ）を設計する。
• 完全な学習用時系列データが学習時のみ利用可能で、テスト時のみ部分的なデータしか得られない、LUPI（Learning Under Privileged Information）フレームワークを採用する。
• 予想される将来のコスト低減効果と現在の遅延コストのバランスを評価し、即時分類か待機かを判断する予測戦略を実装する。
• テスト集合全体における総コスト（誤分類コスト + 遅延コスト）を集約する新しい評価指標、AvgCostを定義する。これにより、全体的な性能を評価する。
• 性能の統計的比較のため、Wilcoxon符号順位検定およびNemenyi検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 将来の情報利得を予測する非マイトロピック意思決定戦略は、マイトロピック戦略を上回る性能を示せるか？
• RQ2 非教師ありクラスタリングと教師あり信頼度ベースグループ化の選択が、分類性能と早期性に与える影響は何か？
• RQ3 提案されたコストベースの最適化基準は、従来手法と比較して、早期性と正確性のバランスをどの程度改善するか？
• RQ4 提案されたアルゴリズムの非マイトロピック性は、優れた性能を発揮する主な要因であるか？
• RQ5 提案されたアルゴリズムは、さまざまな遅延コスト関数と実世界のデータセットに対してどれほど頑健か？

主な発見

• 提案された非マイトロピックなEconomyアルゴリズムは、すべてのテストデータセットおよび遅延コスト関数において、最先端のマイトロピック手法（Mori et al., 2017）を著しく上回る。
• 教師ありアプローチ（Economy-γ および Economy-γ-lite）は、非教師ありアプローチ（Economy-K および Economy-multi-K）に比べ、平均コスト低減の観点で一貫して優れている。
• 非マイトロピック性が不可欠であることが示された：Economyアルゴリズムのマイトロピック版は、Mori et al. (2017) のベースライン手法と同等の性能にとどまり、将来的なコスト予測が性能向上に不可欠であることが判明した。
• Wilコxon符号順位検定の結果、α値が {10⁻⁴, 2×10⁻⁴, 4×10⁻⁴} の極めて極端な遅延コスト領域を除き、Economyアプローチはすべてのα値でSR手法を有意に上回ることが確認された。
• Nemenyi検定の結果、最も優れたEconomyアプローチはSR手法とは統計的に異なるグループに属しており、その優位性が裏付けられた。
• 提案されたAvgCost指標は、早期性と正確性のトレードオフを効果的に捉えており、信頼性の高い包括的比較を可能にした。