[論文レビュー] Adaptive Deep Forest for Online Learning from Drifting Data Streams

Łukasz Korycki, Bartosz Krawczyk|arXiv (Cornell University)|Oct 14, 2020

Data Stream Mining Techniques参考文献 41被引用数 4

ひとこと要約

本論文は、概念ずれを伴う高次元データストリームを処理するために、適応的決定木とディープフォレストアーキテクチャを統合したオンライン学習アルゴリズム、Adaptive Deep Forest (ADF) を提案する。マルチグレインスキャンとカスケード型アンサンブル学習を採用することで、特に画像やテキストのような複雑なデータにおいて、最先端の浅いストリーミング分類器を上回る性能を発揮する。

ABSTRACT

Learning from data streams is among the most vital fields of contemporary data mining. The online analysis of information coming from those potentially unbounded data sources allows for designing reactive up-to-date models capable of adjusting themselves to continuous flows of data. While a plethora of shallow methods have been proposed for simpler low-dimensional streaming problems, almost none of them addressed the issue of learning from complex contextual data, such as images or texts. The former is represented mainly by adaptive decision trees that have been proven to be very efficient in streaming scenarios. The latter has been predominantly addressed by offline deep learning. In this work, we attempt to bridge the gap between these two worlds and propose Adaptive Deep Forest (ADF) - a natural combination of the successful tree-based streaming classifiers with deep forest, which represents an interesting alternative idea for learning from contextual data. The conducted experiments show that the deep forest approach can be effectively transformed into an online algorithm, forming a model that outperforms all state-of-the-art shallow adaptive classifiers, especially for high-dimensional complex streams.

研究の動機と目的

• ディープラーニングとストリーミングデータマイニングの間のギャップを埋め、高次元で非定常なデータストリームに対してディープラーニングを可能にする。
• 画像、テキスト、時系列データなどの複雑な文脈的データを処理する際の、浅いストリーミング分類器の限界を克服する。
• 概念ずれに迅速に対応しつつ、ディープラーニングの表現力も維持する深層アーキテクチャを開発する。
• オンライン学習とマルチグレイン特徴スキャン、カスケード型フォレストアンサンブルを統合し、動的環境における継続的適応を可能にする。

提案手法

• オンラインで適応的ランダムフォレスト（ARF）アンサンブルに置き換えることで、gcForestアーキテクチャのオフライン部をオンライン学習に適応させる。
• 異なる解像度のスライディングウィンドウを用いたマルチグレインスキャン機構を実装し、高次元入力からの階層的特徴抽出を実現する。
• 各層が前の層からの特徴を処理するように構築されたカスケード型ディープフォレスト構造を設計し、オンライン環境下での深層表現学習を可能にする。
• 各カスケード層で適応的決定木を用いることで、概念ずれへの反応性を確保し、時間経過に伴うモデル精度の維持を図る。
• 各カスケード層にマルチグレイン特徴を追加入力として統合し、表現学習の豊かさを高め、一般化性能の向上を図る。
• 概念ずれ検出とモデル適応戦略を組み合わせたオンライン学習を適用し、進化を続けるデータストリームにおける性能維持を実現する。

実験結果

リサーチクエスチョン

• RQ1 概念ずれを伴うデータストリーム環境におけるオンライン学習に、ディープフォレストアーキテクチャを効果的に適応できるか？
• RQ2 マルチグレインスキャンは、高次元ストリーミングデータにおける特徴表現とモデル性能をどのように向上させるか？
• RQ3 ADFは、画像やテキストのような複雑なデータにおいて、最先端の浅いストリーミング分類器をどの程度上回るか？
• RQ4 現在のADF設計における計算コストとスケーラビリティのボトルネックは何か？ それらはモデル性能と学習時間にどのように影響するか？
• RQ5 モデルの構造（例：木の深さ、レイヤー構成）と、さまざまなデータストリームタイプにおける性能の相関関係は何か？

主な発見

• ADFは、AGNEWS、MALARIA、DOGSvCATS のような高次元データストリームにおいて、すべての最先端の浅い適応的ストリーミング分類器を顕著に上回る。
• マルチグレインスキャンの活用により、特徴表現が向上し、特に視覚的・テキスト系データストリームにおいて予測性能が向上する。
• ADFは概念ずれに強く反応し、データ分布が時間経過で変化しても高い精度を維持する。
• AGNEWS のような大規模ストリームでは、実行時間と計算コストが高くなる傾向にあり、スケーラビリティの課題が顕在化する。
• 木の深さ分析から、大規模モデルでは入力層に最も深い木が形成される傾向があり、過学習の可能性が示唆される。一方、小規模モデルではカスケード層に深い木が形成される傾向があり、パターンの不十分な抽出が原因である可能性がある。
• 性能向上が見られる一方で、モデルサイズの増大が比例的に性能向上に繋がらないため、今後の研究では学習ユニットの多様化を強化する必要がある。