[論文レビュー] Adaptive Convolutional ELM For Concept Drift Handling in Online Stream Data

Arif Budiman, Mohamad Ivan Fanany+1 more|arXiv (Cornell University)|Oct 7, 2016

Data Stream Mining Techniques参考文献 41被引用数 9

ひとこと要約

本稿では、階層的特徴抽出に畳み込みニューラルネットワーク（CNN）を、高速で適応的な分類にエラスティックELM（E²LM）を組み合わせたハイブリッドディープラーニングモデル、適応的畳み込みELM（ACNNELM）を提案する。2つのバリエーションを導入：ACNNELM-1は適応的OS-ELM（AOS-ELM）を用いて分類器レベルの適応性を実現し、ACNNELM-2は行列の連結によりアンサンブルレベルの耐性を強化する。本手法は、仮想的、現実的、ハイブリッドなドリフト状況下でのMNISTおよびnot-MNISTデータセットにおいて、標準的なELMおよびCNNと比較して優れた正確性、スケーラビリティ、コンセプトドリフトの処理能力を示した。

ABSTRACT

In big data era, the data continuously generated and its distribution may keep changes overtime. These challenges in online stream of data are known as concept drift. In this paper, we proposed the Adaptive Convolutional ELM method (ACNNELM) as enhancement of Convolutional Neural Network (CNN) with a hybrid Extreme Learning Machine (ELM) model plus adaptive capability. This method is aimed for concept drift handling. We enhanced the CNN as convolutional hiererchical features representation learner combined with Elastic ELM (E$^2$LM) as a parallel supervised classifier. We propose an Adaptive OS-ELM (AOS-ELM) for concept drift adaptability in classifier level (named ACNNELM-1) and matrices concatenation ensembles for concept drift adaptability in ensemble level (named ACNNELM-2). Our proposed Adaptive CNNELM is flexible that works well in classifier level and ensemble level while most current methods only proposed to work on either one of the levels. We verified our method in extended MNIST data set and not MNIST data set. We set the experiment to simulate virtual drift, real drift, and hybrid drift event and we demonstrated how our CNNELM adaptability works. Our proposed method works well and gives better accuracy, computation scalability, and concept drifts adaptability compared to the regular ELM and CNN. Further researches are still required to study the optimum parameters and to use more varied image data set.

研究の動機と目的

• データ分布が時間とともに変化するオンラインビッグデータストリームにおけるコンセプトドリフトの課題に対処すること。
• 動的で非定常なデータに苦労する伝統的な機械学習モデル（ELMやCNN）の限界を克服すること。
• 進化するデータコンセプトに耐えうる高精度を維持するスケーラブルで適応的なディープラーニングフレームワークを構築すること。
• 分類器レベルとアンサンブルレベルの適応メカニズムを導入し、さまざまなドリフトタイプに対する耐性を高めること。
• 仮想的ドリフト（入力特徴の変化）、現実的ドリフト（クラス数の変化）、ハイブリッドドリフトの複数のドリフトシナリオにおいて有効性を実証すること。

提案手法

• 画像データストリームからの空間的表現を自動的に学習するため、CNNを階層的特徴抽出器として使用する。
• CNNの特徴をエラスティックELM（E²LM）と統合し、リアルタイム学習を可能にする並列で高速な教師あり分類器として機能させる。
• ACNNELM-1では適応的OS-ELM（AOS-ELM）を実装し、分類器レベルでのコンセプトドリフトに応じて動的にパラメータを調整する。
• ACNNELM-2は、異なるコンセプト状態で訓練された複数のCNN-ELMモデルの予測行列を連結することで構築され、アンサンブルレベルの適応性を実現する。
• 連結前に出力次元を一致させるためにゼロパディングを適用し、アンサンブル集約における互換性を確保する。
• 時系列インデックスを用いてコンセプト変化を追跡し、検出されたドリフトに応じてモデルの適応または再訓練をトリガーする。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-ELMモデルは、オンラインストリームデータにおけるコンセプトドリフトを効果的に処理できるか？
• RQ2 提案されたACNNELM-1モデルは、分類器レベルでのコンセプトドリフトにどの程度適応できるか？
• RQ3 モデル連結を用いたアンサンブルレベルの適応によって、ACNNELM-2はどの程度性能を向上させるか？
• RQ4 仮想的ドリフト（入力特徴の変化）、現実的ドリフト（クラス数の変化）、ハイブリッドドリフトの下で、本手法はどの程度の性能を示すか？
• RQ5 コンセプトドリフト下で、ACNNELMは標準ELMおよびCNNと比較して、正確性とスケーラビリティの面でどの程度優れているか？

主な発見

• ACNNELM-1は、6c-1sモデルを用いてハイブリッドドリフト下のMNISTで93.42%の正確性を達成し、ベースラインのELMおよびCNNを顕著に上回った。
• ACNNELM-2は、6c-2s-12c-2sモデルを用いて拡張MNISTでハイブリッドドリフト下に95.94%の正確性を達成し、アンサンブル集約による優れた性能を示した。
• not-MNISTデータでは、ACNNELM-2がハイブリッドドリフト下で85.14%の正確性を達成し、多様な画像データセットにおける強力な一般化能力を示した。
• 本手法は高いCohenのKappa係数（例：MNISTハイブリッドドリフトで0.36）を維持しており、予測値と真値との間の強い一致を示した。
• ACNNELM-2は、アンサンブル平均化とモデル多様性の利点により、ACNNELM-1よりも優れた計算スケーラビリティと正確性を示した。
• 本モデルは、仮想的ドリフト（例：拡張MNISTで79.12%）および現実的ドリフト（例：クラス数増加のMNISTで93.61%）の両方の処理において、強靭な耐性を示した。