[論文レビュー] Updating Formulas and Algorithms for Computing Entropy and Gini Index from Time-Changing Data Streams

Blaž Sovdat|arXiv (Cornell University)|Mar 25, 2014

Data Stream Mining Techniques参考文献 5被引用数 7

ひとこと要約

本稿では、再計算コストを回避する更新式を用いて、リアルタイムのデータストリームにおけるエントロピーおよびジニ係数を計算する効率的なインクリメンタルアルゴリズムを提示する。スライディングウィンドウおよびフェーディングファクター手法を導入し、動的推定を可能にすることで、VFDT や CVFDT などのシステムにおける意思決定木学習を高速化し、1回あたりの更新が O(1) または O(k) となる。

ABSTRACT

Despite growing interest in data stream mining the most successful incremental learners, such as VFDT, still use periodic recomputation to update attribute information gains and Gini indices. This note provides simple incremental formulas and algorithms for computing entropy and Gini index from time-changing data streams.

研究の動機と目的

• データストリームマイニングにおけるエントロピーおよびジニ係数の周期的再計算による計算非効率性を解消すること。
• データストリームの変化に伴い、軽量でインクリメンタルな更新式をエントロピーおよびジニ係数に提供すること。
• VFDT や CVFDT などの意思決定木ラーナーにおける不純度測度のリアルタイム推定を可能にすること。
• 事前に指定しない新しい属性値の動的処理を可能にすること。
• 時間的に変化するデータストリームに対して、数値的安定性と効率性を向上させること。

提案手法

• 合計二乗和および合計和を用いた閉形式の更新式を導出し、k 個のクラスカウントに変更がある場合に O(k) の更新が可能となるジニ係数のインクリメンタル更新を実現する。
• 複数のクラスカウントが任意の正の値で増加する場合のインクリメンタルなジニ係数更新のための定理1を導入する。
• スライディングウィンドウおよびフェーディングファクターを用いて、限られたメモリで最新の統計を維持するアルゴリズム1およびアルゴリズム2を提案する。
• 対数的確率更新に依存するエントロピー用の類似した更新式（定理4および定理5）を構築する。
• スライディングウィンドウを用いるアルゴリズム3およびフェーディングファクターを用いるアルゴリズム4を実装し、両者ともカウントおよびエントロピーをインクリメンタルに更新する。
• ウィンドウ内の挿入および削除処理中にエントロピーおよびジニ係数を効率的に調整するため、関数 Inc、Dec、Add、Del を使用する。

実験結果

リサーチクエスチョン

• RQ1 データストリームにおいて、完全な再計算を避けながら、エントロピーおよびジニ係数をどのようにインクリメンタルに更新できるか。
• RQ2 新しいデータが到着するか、クラスカウントが変化する際の不純度測度の更新の計算量的複雑度はどのようになるか。
• RQ3 スライディングウィンドウおよびフェーディングファクター技術をインクリメンタル式と効果的に組み合わせ、リアルタイム推定に応用できるか。
• RQ4 非常に小さな確率値を伴う場合、特にエントロピー計算において、導出された式の数値的安定性はバッチ再計算と比較してどうなるか。
• RQ5 これらの式は、VFDT や CVFDT のような既存のインクリメンタルラーナーに統合可能で、効率性を向上させられるか。

主な発見

• 本稿では、k 個のクラスカウントに変更がある場合にのみ O(k) の演算で済む、ジニ係数の閉形式インクリメンタル更新式を導出しており、再計算コストを顕著に低減している。
• エントロピーに関しては、対数的調整を用いることで効率的な計算が可能であり、アルゴリズム3およびアルゴリズム4により、スライディングウィンドウおよびフェーディングファクターモデル下でのリアルタイム推定が実現されている。
• 提案されたアルゴリズムは、限られたメモリでエントロピーおよびジニ係数の正確な推定を維持しており、スライディングウィンドウでは O(w) の空間計算量、フェーディングファクターでは定数空間を達成している。
• クラス確率が非常に小さい場合に数値的不安定性が顕著になることが判明しており、特にエントロピー計算において実用的展開の際の懸念事項として強調されている。
• 著者らは、以前のバージョンにおける更新関数の誤りを是正し、形式的導出および実装による正しさの検証を実施している。
• 本研究により、事前に指定しない新しい属性値の統合が可能となり、進化を続けるデータストリームにおける適応性が向上する動的意思決定木学習が実現された。