[論文レビュー] Streaming Active Deep Forest for Evolving Data Stream Classification

Anh Vu Luong, Tien Thanh Nguyen+1 more|arXiv (Cornell University)|Feb 26, 2020

Data Stream Mining Techniques参考文献 16被引用数 11

ひとこと要約

本稿では、変化するデータストリーム分類に適応した新規のディープアンサンブルモデルであるStreaming Deep Forest (SDF) と、ラベル付けの効率を最適化するアクティブラーニング戦略であるAugmented Variable Uncertainty (AVU) を提案する。SDFはgcForestのキャスケード構造を採用し、オンライン学習とドリフト適応に適したAdaptive Random Forestsを用いる。一方AVUは、従来の不確実性サンプリングを拡張し、ラベル付け予算を最大限に活用するように動的にしきい値を調整する。SDFはわずか70%のラベルで最先端の性能を達成する。

ABSTRACT

In recent years, Deep Neural Networks (DNNs) have gained progressive momentum in many areas of machine learning. The layer-by-layer process of DNNs has inspired the development of many deep models, including deep ensembles. The most notable deep ensemble-based model is Deep Forest, which can achieve highly competitive performance while having much fewer hyper-parameters comparing to DNNs. In spite of its huge success in the batch learning setting, no effort has been made to adapt Deep Forest to the context of evolving data streams. In this work, we introduce the Streaming Deep Forest (SDF) algorithm, a high-performance deep ensemble method specially adapted to stream classification. We also present the Augmented Variable Uncertainty (AVU) active learning strategy to reduce the labeling cost in the streaming context. We compare the proposed methods to state-of-the-art streaming algorithms in a wide range of datasets. The results show that by following the AVU active learning strategy, SDF with only 70\% of labeling budget significantly outperforms other methods trained with all instances.

研究の動機と目的

• 従来のDNNがスケーラビリティと再トレーニングの課題を抱える、進化するデータストリーム環境におけるディープアンサンブルモデルの不足に対処すること。
• 人的ラベル付けが高コストで時間がかかるストリーミング環境において、ラベルコストを低減すること。
• 既存の不確実性ベースの戦略がラベル予算を十分に活用しない問題を克服し、ストリーム環境におけるアクティブラーニングを強化すること。
• コンセプトドリフトに耐えられ、限られたメモリと時間制約のもとでも高い精度を維持できるスケーラブルなオンライン学習フレームワークの開発すること。

提案手法

• SDFは、オンライン学習とドリフト適応のため、標準的なランダムフォレストの代わりにAdaptive Random Forests (ARF) を用いて、gcForestのキャスケードアーキテクチャをデータストリームに適応させる。
• SDFの各層はARFを介して特徴を処理し、逐次的なモデル更新と層間の表現学習の維持を可能にする。
• モデルは各インスタンスを一度だけ処理し、予測後に破棄するオンライン学習方式を採用しており、メモリと時間制約を満たす。
• AVUは、予測の信頼度に基づいてしきい値を動的に調整することで、Variable Uncertainty (VU) 戦略を拡張し、ラベル予算の完全活用を実現する。
• しきい値の更新ルールは、u_k < θ_k の場合 θ_{k+1} = θ_k(1-s)、u_k ≥ θ_k の場合 θ_{k+1} = θ_k(1+s) で定義され、sは小さな正の定数である。
• 理論的分析により、一様な確信度スコアの下で、k→∞ のとき確率 P(u_k < θ_k) が 0.5 に収束することが示され、バランスの取れたサンプリングと最適な予算使用が保証される。

実験結果

リサーチクエスチョン

• RQ1 gcForestのディープアンサンブルアーキテクチャは、厳密な時間制約とメモリ制約のもとで、進化するデータストリーム分類に効果的に適応可能か？
• RQ2 提案されたAVUアクティブラーニング戦略は、ストリーミング環境において、従来の不確実性サンプリングを上回り、ラベル予算を完全に活用できるか？
• RQ3 利用可能なラベルの一部のみでトレーニングされた場合、SDFは最先端のストリーミング分類器と比較してどの程度の性能を示すか？
• RQ4 モデルの深さ（層の数）が、ストリーミング環境におけるSDFの性能と計算効率に与える影響は何か？
• RQ5 提案されたフレームワークは、リアルタイムでコンセプトドリフトを検出し、適応可能であり、高精度を維持できるか？

主な発見

• SDFはラベル予算を70%に制限しても、20の多様なデータセットにおいて、100%のラベルでトレーニングされたすべてのベンチマーク手法を上回る性能を示した。
• SDFの性能は層の数が増えるにつれて向上し、1層から5層にかけて明確な上行トレンドが観察された。これは、より深いモデルがより優れた結果をもたらすことを示している。
• AVUは長期的に P(u_k < θ_k) が 0.5 に収束することを示し、元のVU戦略が予算を十分に活用しないのとは対照的に、ラベル予算を完全に活用していることを証明した。
• 理論的分析により、AVUの適応的しきい値が、不確実なインスタンスのバランスの取れたサンプリングを保証し、早期収束や確信度の高い予測の過剰サンプリングを防ぐことが確認された。
• SDFはアクティブドリフト検出メカニズムを統合することで、コンセプトドリフトに強く、データ分布が時間とともに変化しても高い予測精度を維持した。
• 実験的結果から、SDFは2層以上のモデルが常に1層のバージョンを上回り、計算リソースが許す限り、より深いモデルが優れた性能を発揮することが示された。