[論文レビュー] Local Cascade Ensemble for Multivariate Data Classification.

Kevin Fauvel, Élisa Fromont+3 more|arXiv (Cornell University)|May 7, 2020

Time Series Analysis and Forecasting参考文献 31被引用数 5

ひとこと要約

LCEは、バイアスとバリアンスのバランスをとるために明示的なブースティング・バギングと暗黙的な分割統治を組み合わせた、多変量テーブルデータ分類のための新規ハイブリッドアンサンブル手法であり、LCEMはその拡張版で、データの課題に強く、多変量時系列（MTS）に対応する。UCIおよびUEAのベンチマークで最先端のモデルを上回り、設計段階から忠実な解釈可能性を備えている。

ABSTRACT

We present LCE, a Local Cascade Ensemble for traditional (tabular) multivariate data classification, and its extension LCEM for Multivariate Time Series (MTS) classification. LCE is a new hybrid ensemble method that combines an explicit boosting-bagging approach to handle the bias-variance trade-off faced by machine learning models and an implicit divide-and-conquer approach to individualize classifier errors on different parts of the training data. Our evaluation firstly shows that the hybrid ensemble method LCE outperforms the state-of-the-art classifiers on the UCI datasets and that LCEM outperforms the state-of-the-art MTS classifiers on the UEA datasets. Furthermore, LCEM provides faithful explainability by design and manifests robust performance when faced with challenges arising from continuous data collection (different MTS length, missing data and noise).

研究の動機と目的

• 新しいアンサンブル手法を用いて、多変量データ分類におけるバイアスとバリアンスのトレードオフを解消すること。
• 既存の最先端手法を上回る性能を、テーブルおよび多変量時系列（MTS）データセットで達成すること。
• 変動するMTS長、欠損データ、ノイズといった現実のデータ問題に対しても、モデルの頑健性を維持すること。
• 性能を犠牲にせずに、予測の忠実な解釈可能性を提供すること。

提案手法

• LCEは、弱学習器を繰り返し精錬することでバイアスを低減するとともに、バリアンスを管理する明示的なブースティング・バギング戦略を採用する。
• 異なる地域の訓練データに異なる分類器を割り当てる暗黙的な分割統治メカニズムを用いることで、局所的な誤差パターンに焦点を当てる。
• 局所的なデータ特性に応じて分類器の組み合わせを動的に適応させることで、一般化性能を向上させる。
• LCEMは、局所的カスケード機構を時系列的・多変量時系列構造に適合させることで、LCEをMTSに拡張する。
• 複数の基本推定器を適応的重み付けで統合するアンサンブルアーキテクチャにより、データの不規則性に対する頑健性を向上させる。
• 成分の意思決定の局所的モデル解釈を通じて、設計段階から解釈可能性を組み込む。

実験結果

リサーチクエスチョン

• RQ1 ブースティング・バギングと分割統治を組み合わせたハイブリッドアンサンブルは、多変量テーブルデータ分類において、既存の最先端分類器を上回ることができるか？
• RQ2 LCEMは、現実のデータ課題を伴うベンチマークデータセットにおいて、最先端のMTS分類器と比較してどの程度の性能を示すか？
• RQ3 局所的カスケード機構は、変動するMTS長、欠損データ、ノイズに対してどの程度モデルの頑健性を向上させるか？
• RQ4 アンサンブル手法は、分類精度を犠牲にせずに忠実な解釈可能性を提供できるか？

主な発見

• LCEは、多変量テーブルデータのUCIベンチマークデータセットにおいて、最先端の分類器を上回る優れた性能を達成した。
• LCEMは、UEAベンチマークデータセットにおいて、既存の最先端MTS分類器を上回った。
• 変動するMTSシーケンス長、欠損データ、ノイズといった継続的なデータ収集の課題に対しても、モデルは頑健な性能を示した。
• LCEMは設計段階から忠実な解釈可能性を備えており、性能の低下を伴わずに解釈可能な予測を可能にした。
• ハイブリッドなブースティング・バギングと局所的分割統治戦略は、バイアスとバリアンスのバランスを効果的にとるのに成功し、全体の一般化性能を向上させた。
• アンサンブルアプローチは、データ品質が変動しても高い精度を維持したため、現実の応用における実用的妥当性が確認された。