[論文レビュー] An Ensemble Classification Algorithm Based on Information Entropy for Data Streams

Junhong Wang, Shuliang Xu+3 more|arXiv (Cornell University)|Aug 11, 2017

Data Stream Mining Techniques参考文献 25被引用数 3

ひとこと要約

本稿では、情報エントロピーを用いて概念ずれを検出するとともに動的重み付けを行うデータストリーム向けのアンサンブル分類アルゴリズム（ECBE）を提案する。エントロピーによる不確実性の測定により、ECBEは性能の低下を特定し、低重みの分類器を除外することで、高い正確性と効率性を維持する。複数のベンチマークデータセットにおいて、特に概念ずれの条件下で、OS-ELMを正確性と実行時間の両面で上回る性能を発揮する。

ABSTRACT

Data stream mining problem has caused widely concerns in the area of machine learning and data mining. In some recent studies, ensemble classification has been widely used in concept drift detection, however, most of them regard classification accuracy as a criterion for judging whether concept drift happening or not. Information entropy is an important and effective method for measuring uncertainty. Based on the information entropy theory, a new algorithm using information entropy to evaluate a classification result is developed. It uses ensemble classification techniques, and the weight of each classifier is decided through the entropy of the result produced by an ensemble classifiers system. When the concept in data streams changing, the classifiers' weight below a threshold value will be abandoned to adapt to a new concept in one time. In the experimental analysis section, six databases and four proposed algorithms are executed. The results show that the proposed method can not only handle concept drift effectively, but also have a better classification accuracy and time performance than the contrastive algorithms.

研究の動機と目的

• データ分布が時間とともに変化するデータストリーム分類における概念ずれの課題に対処すること。
• 従来のアンサンブル手法が分類精度に依存するのみで、情報の不確実性を捉えられないという限界を克服すること。
• 分類結果の不確実性を情報エントロピーで定量化し、動的分類器重み付けを導く手法を開発すること。
• 既存の最先端アルゴリズムと比較して、動的データストリーム環境における分類性能と計算効率を向上させること。
• 急激な変化や徐々の変化を含む、さまざまなタイプの概念ずれに対して頑健であること。

提案手法

• 複数の基本分類器を維持し、それらの集合的出力の情報エントロピーに基づいて動的重みを割り当てるアンサンブル分類フレームワーク（ECBE）を提案する。
• アンサンブルの予測分布のエントロピーを不確実性の指標として用いる：エントロピーが高いほど不確実性が高く、概念ずれの可能性が高まる。
• 高エントロピー出力に寄与する分類器の重みを低下させる重み更新ルールを定義し、しきい値以下の重みは除外する。
• しきい値に基づく概念ずれ検出メカニズムを導入：エントロピーが著しく上昇すると、システムは再重み付けと分類器の交換をトリガーする。
• さまざまな活性化関数（radbas, sigmoid, sine, hardlim）を用いてアルゴリズムを適用し、最適なパフォーマンスを得るためにハイパーパrameter（α=0.05, β=2, γ=0.1）を調整する。
• スライディングウィンドウ機構（データセットごとに最適化されたウィンドウサイズを用いる）を導入し、エントロピー計算と概念ずれ検出に固定された履歴データウィンドウを維持する。

実験結果

リサーチクエスチョン

• RQ1 従来の精度ベースの手法を超えて、情報エントロピーがデータストリームにおける概念ずれ検出に信頼できる指標として機能するか？
• RQ2 ECBEアルゴリズムは、概念ずれを含むさまざまなデータストリーム環境下でも高い分類正確性をどのように維持するか？
• RQ3 ECBEは、OS-ELMなどの既存のアンサンブル手法と比較して、正確性と時間効率の両面でどの程度優れているか？
• RQ4 ECBEは、合成および実世界のデータセットで観察される急激な変化と徐々の変化の両方の概念ずれを効果的に検出できるか？
• RQ5 エントロピーに基づく動的分類器再重み付け機構は、長期的なモデルの安定性とパフォーマンスをどの程度向上させるか？

主な発見

• ECBEは、6つのベンチマークデータセットのうち4つ（waveform, Hyperplane, LED, sensor_reading_24）でOS-ELMを上回る分類正確性を達成し、特に sensor_reading_24 と shuttle では統計的に有意な改善を示した。
• waveform および Hyperplane データセットでは、OS-ELMが正確性でECBEを0.02未満の差でわずかに上回ったが、ECBEは4つのデータセットで優れた時間効率を示した。
• ECBEは優れた時間効率を示し、page-blocks では0.2187秒、sensor_reading_24 では0.3486秒という低実行時間で、多数のデータセットでOS-ELMを上回った。
• ECBEは4つのデータセット（Hyperplane, SEA, waveform, RBF）で合計15件の概念ずれイベントを正常に検出。Hyperplane と waveform では6件の急激なずれをすべて特定し、RBF では徐々のずれを検出できた。
• 一部の誤検知（例：Hyperplane での1件の誤報）や見逃し（例：SEA での1件のずれを検出せず）はあったが、ECBEのエントロピーに基づく検出メカニズムは全体として効果的であった。
• 低性能分類器の除外により、検出後も高い正確性を維持できたことから、エントロピー駆動の再重み付け戦略の有効性が確認された。