[論文レビュー] Less Is More: A Comprehensive Framework for the Number of Components of Ensemble Classifiers

Hamed Bonab, Fazlı Can|arXiv (Cornell University)|Sep 9, 2017

Data Stream Mining Techniques参考文献 32被引用数 15

ひとこと要約

本論文は、アンサンブルモデルにおける最適なコンポーネント分類器の数を事前に決定するための幾何的フレームワークを提案する。重み付き多数決投票（WMV）において、コンポーネントが強くかつ独立している場合、理想的なアンサンブルサイズはクラスラベル数に等しいことを証明している。このフレームワークは、多様性の理論的役割が精度を向上させることを説明し、実験により、特に大規模データ制約下のオンライン環境において、より小さな多様なアンサンブルがより大きなアンサンブルを上回ることを検証した。

ABSTRACT

The number of component classifiers chosen for an ensemble greatly impacts the prediction ability. In this paper, we use a geometric framework for a priori determining the ensemble size, which is applicable to most of existing batch and online ensemble classifiers. There are only a limited number of studies on the ensemble size examining Majority Voting (MV) and Weighted Majority Voting (WMV). Almost all of them are designed for batch-mode, hardly addressing online environments. Big data dimensions and resource limitations, in terms of time and memory, make determination of ensemble size crucial, especially for online environments. For the MV aggregation rule, our framework proves that the more strong components we add to the ensemble, the more accurate predictions we can achieve. For the WMV aggregation rule, our framework proves the existence of an ideal number of components, which is equal to the number of class labels, with the premise that components are completely independent of each other and strong enough. While giving the exact definition for a strong and independent classifier in the context of an ensemble is a challenging task, our proposed geometric framework provides a theoretical explanation of diversity and its impact on the accuracy of predictions. We conduct a series of experimental evaluations to show the practical value of our theorems and existing challenges.

研究の動機と目的

• 計算資源とメモリ制約が厳しいオンラインおよびビッグデータ環境における、最適アンサンブルサイズを特定するという重要な課題に取り組む。
• 既存の文献におけるギャップを埋めるために、コンポーネント分類器の多様性がアンサンブル精度をどのように向上させるかを理論的基盤で説明すること。
• バッチおよびオンライン両方のアンサンブル分類器に適用可能な幾何的フレームワークを構築すること。
• 広範な実験を通じて、最適な重み付けを施したより小さなアンサンブルが、より大きなアンサンブルと同等またはそれを上回ることを検証すること。
• 現実世界および合成データストリーム環境下でのアンサンブルサイズ、多様性、予測性能の関係を調査すること。

提案手法

• 著者らは、アンサンブル投票プロセスを幾何的空間にモデル化し、分類器の出力を高次元空間内のベクトルとして表現する。
• 線形最小二乗法（LSQ）を用いて、投票集約のための最適なコンポーネント重みを計算し、このフレームワークをバッチおよびオンライン両設定で利用可能にする。
• より多くのコンポーネントを追加することで精度が向上する理論的条件を導出し、特にWMVにおいて強い独立したコンポーネントのもとで、理想のサイズが m = p（クラス数）に等しいことを証明する。
• 多様性は幾何的に、コンポーネント予測の角度的分散として形式化され、高い多様性は相関を低下させ、精度を向上させる。
• コンポーネント出力の幾何的性質を分析し、最適意思決定境界への収束を評価することで、事前にアンサンブルサイズを決定可能にする。
• 実験では、16個の実世界および合成データストリーム上でMOAフレームワークを用い、さまざまなアンサンブルサイズと選択戦略を比較した。

実験結果

リサーチクエスチョン

• RQ1 強い独立したコンポーネントが与えられた場合、重み付き多数決投票（WMV）における理論的最適なコンポーネント分類器数は何か？
• RQ2 コンポーネント分類器間の幾何的多様性は、アンサンブルの予測精度にどのように影響するか？
• RQ3 オンラインおよびバッチ学習に適用可能な幾何的フレームワークを用いて、事前にアンサンブルサイズを決定できるか？
• RQ4 データストリーム環境（高ビットレート・高ボリューム）において、アンサンブルサイズが性能に与える影響はどの程度か？
• RQ5 最適に重み付けされたコンポーネントを有するより小さな多様なアンサンブルは、精度と効率の両面でより大きなアンサンブルを上回るのか？

主な発見

• 重み付き多数決投票（WMV）において、理論的最適なアンサンブルサイズは、クラスラベル数に等しい（m = p）ものとされる。ただし、コンポーネントが強くかつ独立していることが条件である。
• 実験結果から、LevBag-8、LevBag-16、LevBag-32、LevBag-64、LevBag-128アンサンブルは同等に優れた性能を示し、それより小さいアンサンブルよりも顕著に優れていることが判明。これは、あるサイズを超えると収益が減少することを示唆している。
• 多様なコンポーネントを選択するSel2Divアンサンブルは、最大128個のコンポーネントを有するアンサンブルと同等の性能を達成しており、多様性が少ないコンポーネントで高い精度を実現できることを示している。
• ネイティブベイズとホイーディングツリーを組み合わせたHyb-HTNBアンサンブルは、LevBag-2およびLevBag-4と同等の性能を示しており、自然な多様性が性能に与える影響を強調している。
• 実世界データセットの8つ中7つにおいて、ピーク性能が理論的予測である m = p 付近に現れ、理論的予測を支持する結果となった。
• フリードマン検定により、性能差に統計的に有意な差異が確認された（p = 0.002）。平均順位の結果から、LevBag-16およびLevBag-128が上位のパフォーマンスを示した。