[論文レビュー] Hybrid Forest: A Concept Drift Aware Data Stream Mining Algorithm

Radin Hamidi Rad, Maryam Amir Haeri|arXiv (Cornell University)|Feb 10, 2019

Data Stream Mining Techniques参考文献 10被引用数 9

ひとこと要約

本稿では、概念ずれと初期収束の遅さに対処するため、Hoeffding Tree と弱学習器を組み合わせたアンサンブルベースのデータストリームマイニングアルゴリズム、Hybrid Forest を提案する。弱学習器による早期予測と、安定性に達した段階での本格的ツリーへの切り替えにより、単一の Hoeffding Tree や Random Forest の変種と比較して、初期段階の予測および概念ずれ回復において、より高速な収束と優れた精度を達成する。

ABSTRACT

Nowadays with a growing number of online controlling systems in the organization and also a high demand of monitoring and stats facilities that uses data streams to log and control their subsystems, data stream mining becomes more and more vital. Hoeffding Trees (also called Very Fast Decision Trees a.k.a. VFDT) as a Big Data approach in dealing with the data stream for classification and regression problems showed good performance in handling facing challenges and making the possibility of any-time prediction. Although these methods outperform other methods e.g. Artificial Neural Networks (ANN) and Support Vector Regression (SVR), they suffer from high latency in adapting with new concepts when the statistical distribution of incoming data changes. In this article, we introduced a new algorithm that can detect and handle concept drift phenomenon properly. This algorithms also benefits from fast startup ability which helps systems to be able to predict faster than other algorithms at the beginning of data stream arrival. We also have shown that our approach will overperform other controversial approaches for classification and regression tasks.

研究の動機と目的

• データストリーム分類および回帰における Hoeffding Tree (VFDT) の初期収束が遅い問題に対処すること。
• 分布のシフトを検出し、迅速な回復を可能にする仕組みを備えた、概念ずれに対する耐性の向上。
• 予測精度の向上を図りながら、計算およびメモリのオーバーヘッドを低く保つアンサンブル手法の設計。
• ストリーミングアプリケーション向けに、迅速な起動とリアルタイムでの適応性を備えた実用的かつデプロイ可能なソリューションの提供。

提案手法

• アルゴリズムはハイブリッドアーキテクチャを採用：安定した長期的予測を担うメインの Hoeffding Tree (VFDT) と、初期のデータストリーム到着段階での高速予測を担う弱学習器のセット。
• 信頼性に基づく切り替えメカニズムにより、メインツリーと弱学習器の予測の一貫性を監視。一貫性が高くなると、システムはメインツリーに切り替わる。
• 弱学習器は段階的に訓練され、メインツリーが安定するまでの間、初期予測を提供することで、初期の予測遅延を低減する。
• 概念ずれは、メインツリーとアンサンブル間の予測不一致を検出することで検知。検出された際には、再訓練またはモード切り替えをトリガーし、精度の回復を図る。
• 木の分割における統計的信頼性を保証するため、Hoeffding の不等式を用い、誤差が有界な条件下で正しい分割が保証される。
• 弱学習器を効率的に再利用することで、アンサンブルは、単一の Hoeffding Tree よりわずかに多いメモリ使用量に抑える設計となっている。

実験結果

リサーチクエスチョン

• RQ1 データストリームアルゴリズムは、データ到着の初期段階でどのようにしてより速い収束を達成できるか？
• RQ2 アンサンブルアプローチは、Hoeffding Tree における概念ずれに対する耐性をどの程度向上できるか？
• RQ3 ハイブリッドモデルは、単一ツリーおよび Random Forest のベースラインを上回る性能を発揮しながら、低コストの計算およびメモリオーバーヘッドを維持できるか？
• RQ4 弱学習器による早期予測が、ストリーミング回帰および分類における全体の予測精度に与える影響は何か？

主な発見

• Abalone データセットでは、Hybrid Forest は 185 サンプルで 90% の精度に到達したのに対し、単一の Hoeffding 回帰木 (VFRT) は 1042 サンプルを要した。これは、著しく速い収束を示している。
• Wind データセットでは、Hybrid Forest は 712 サンプルで 90% の精度に到達し、単一の VFRT (1073 サンプル) を上回った。ただし、Random Forest のベースラインは 200 サンプルで速かったが、長期的なばらつきが大きかった。
• 概念ずれ回復において、Hybrid Forest は CVFDT や CVFDT にオプションを追加したバージョン、EDDM-VFDT を上回り、より高い精度を維持し、分布のシフト後により速く回復した。
• Abalone データセットでは、Hybrid Forest のメモリフットプリントが 9.36 MB にとどまり、単一の VFRT よりも 0.36 MB 多く、100 個の弱学習器を備えた Random Forest の 9 MB よりわずかに上回った。これは、低メモリオーバーヘッドを示している。
• 図 9 は、Hybrid Forest が単一の VFRT よりも一貫して優れた性能を発揮し、特に初期予測段階で Random Forest と同等またはそれを上回ることを示している。
• 理論的分析により、Hoeffding の不等式のもとで、アルゴリズムが高い確率で正しい木の分割を保証することが確認された。これは、信頼性の確保を意味する。