[論文レビュー] Integrative Windowing

Johannes Fürnkranz|arXiv (Cornell University)|May 1, 1998

Imbalanced Data Classification Techniques参考文献 50被引用数 44

ひとこと要約

本稿では、すでに学習済みの高品質なルールを即座に最終理論に統合することで、再学習を回避し、トレーニングを高速化する、新しいルール学習アルゴリズムのための統合的ウィンドウ化（integrative windowing）を提案する。従来のウィンドウ化とは異なり、反復処理のたびにデータを再処理するのではなく、統合的ウィンドウ化は、発見されたルールを早期に統合することで、ノイズのないドメインにおいても性能向上を維持し、精度を損なわずに顕著な実行時間の短縮を達成する。

ABSTRACT

In this paper we re-investigate windowing for rule learning algorithms. We show that, contrary to previous results for decision tree learning, windowing can in fact achieve significant run-time gains in noise-free domains and explain the different behavior of rule learning algorithms by the fact that they learn each rule independently. The main contribution of this paper is integrative windowing, a new type of algorithm that further exploits this property by integrating good rules into the final theory right after they have been discovered. Thus it avoids re-learning these rules in subsequent iterations of the windowing process. Experimental evidence in a variety of noise-free domains shows that integrative windowing can in fact achieve substantial run-time gains. Furthermore, we discuss the problem of noise in windowing and present an algorithm that is able to achieve run-time gains in a set of experiments in a simple domain with artificial noise.

研究の動機と目的

• 従来のウィンドウ化における非効率性を是正し、すでに学習済みのルールの繰り返し再トレーニングを削減すること。
• 分離・征服型ルール学習アルゴリズムにおいて、ノイズのないドメインでウィンドウ化が顕著な実行時間の短縮をもたらすかどうかを調査すること。
• 良いルールを発見した直後に即座に最終理論に統合する新しいウィンドウ化戦略を開発し、全体の効率性を向上させること。
• 過去の制限にもかかわらず、ノイズを含むドメインにウィンドウ化技術を適応可能にする可能性を検討すること。

提案手法

• 統合的ウィンドウ化は、標準的なウィンドウ化プロセスを変更し、発見された高品質なルールを学習が完了した直後に最終理論に直接統合する。
• アルゴリズムはトレーニングウィンドウとテストセットを維持するが、標準的なウィンドウ化とは異なり、ルールが統合された例はウィンドウから削除される。
• 各反復後、誤分類された例が存在するかを確認し、最終理論にすでにカバーされていない場合に限り、それらをウィンドウに追加する。
• 新しい誤分類例が発見されないまでプロセスを継続することで、収束を保証するとともに、無駄な学習を最小限に抑える。
• この手法は、各ルールが独立して学習される分離・征服型アルゴリズムの性質を活用している。
• ノイズ対応戦略として、ルールの組み合わせと反復的精錬を提案し、テストドメインにおける人工的ノイズに対処する。

実験結果

リサーチクエスチョン

• RQ1 ルール学習アルゴリズムにおいて、ノイズのないドメインでウィンドウ化技術が顕著な実行時間の短縮を達成できるか？
• RQ2 同じウィンドウ化メカニズムを有するにもかかわらず、なぜルール学習アルゴリズムは意思決定木アルゴリズムよりもウィンドウ化の恩恵をより大きく受けるのか？
• RQ3 すでに発見済みの優れたルールの再学習を回避するように、ウィンドウ化プロセスをどのように改善できるか？
• RQ4 統合的ウィンドウ化は、ノイズを含むデータセットに対しても効果的に拡張可能か？
• RQ5 ノイズ環境下で計算コストを削減しつつ、予測精度を維持するにはどのような変更が必要か？

主な発見

• 統合的ウィンドウ化は、すでに学習済みのルールの繰り返し再トレーニングを排除することで、ノイズのないドメインで顕著な実行時間の短縮を達成する。
• 性能向上は、分離・征服型アルゴリズムにおけるルールの独立的学習特性に起因し、干渉を受けることなく早期統合が可能になる。
• ノイズのないドメインでは、100％のトレーニング正答率に達した時点で、学習アルゴリズムに送信される例の総数が収束するため、メモリ効率が良好であることが示された。
• 人工的ノイズを含むドメインにおける予備実験では、適応版の統合的ウィンドウ化アプローチが依然として実行時間の短縮を達成していることが示された。
• 特に大規模データセットにおいて、同じルールの繰り返し学習を回避する点で、標準的なウィンドウ化よりも優れた性能を発揮する。