[論文レビュー] The Effect of Structural Diversity of an Ensemble of Classifiers on Classification Accuracy

Lesedi Masisi, Fulufhelo V. Nelwamondo+1 more|ArXiv.org|Apr 30, 2008

Neural Networks and Applications参考文献 17被引用数 12

ひとこと要約

この論文は、9つのニューラルネットワーク分類器のアンサンブルにおける構造的多様性が分類精度に与える影響を調査する。遺伝的アルゴリズムを用いて、隠れノード数、学習率、活性化関数を変化させた多様なアーキテクチャを進化させた結果、多様性が一定の点まで向上をもたらすが、0.16の多様性指標でピークに達し、その後は性能が低下することが判明。平均二乗誤差は0.274でピークに達した。

ABSTRACT

This paper aims to showcase the measure of structural diversity of an ensemble of 9 classifiers and then map a relationship between this structural diversity and accuracy. The structural diversity was induced by having different architectures or structures of the classifiers The Genetical Algorithms (GA) were used to derive the relationship between diversity and the classification accuracy by evolving the classifiers and then picking 9 classifiers out on an ensemble of 60 classifiers. It was found that as the ensemble became diverse the accuracy improved. However at a certain diversity measure the accuracy began to drop. The Kohavi-Wolpert variance method is used to measure the diversity of the ensemble. A method of voting is used to aggregate the results from each classifier. The lowest error was observed at a diversity measure of 0.16 with a mean square error of 0.274, when taking 0.2024 as maximum diversity measured. The parameters that were varied were: the number of hidden nodes, learning rate and the activation function.

研究の動機と目的

• アンサンブル学習における構造的多様性と分類精度の関係を調査すること。
• 隠れノード数、学習率、活性化関数を変化させることで、ニューラルネットワークアーキテクチャを変化させた場合のアンサンブル性能への影響を調査すること。
• 分類精度を最大化する最適な構造的多様性のレベルを特定すること。
• Kohavi-Wolpert分散法がアンサンブル内の多様性を測定する上で有効であるかを評価すること。
• 構造的多様性を増加させることで分類性能が劣化し始める点を特定すること。

提案手法

• 遺伝的アルゴリズムを用いて、異なるアーキテクチャを持つ60個のニューラルネットワーク分類器を進化させた。
• 多様性と性能の基準に基づき、60個から9個の分類器を選抜してアンサンブルを構成した。
• 構造的多様性は、隠れノード数、学習率、活性化関数という3つの主要ハイパーパrameterを変化させることで誘導した。
• アンサンブルの多様性を定量化するために、Kohavi-Wolpert分散法を適用した。
• 個々の分類器の予測をアンサンブル出力として得るため、投票メカニズムを用いた。
• 分類精度は平均二乗誤差を用いて評価され、多様性は0.2024まで正規化されたスケールで測定された。

実験結果

リサーチクエスチョン

• RQ1 ニューラル分類器のアンサンブルにおける構造的多様性は、全体の分類精度にどのように影響するか？
• RQ2 ニューラルネットワークアンサンブルにおける分類精度を最大化する最適な構造的多様性のレベルは何か？
• RQ3 構造的多様性を増加させることで、分類性能が劣化し始める点はどこか？
• RQ4 Kohavi-Wolpert分散法は、ニューラルネットワークアンサンブルにおける意味のある多様性を的確に捉えられるか？
• RQ5 隠れノード数、学習率、活性化関数のうち、構造的多様性と精度に最も顕著に影響を与えるハイパーパrameterはどれか？

主な発見

• 分類精度は、構造的多様性が0.16の時点でピークに達するまで向上した。
• 平均二乗誤差0.274は、多様性が0.16の時点で達成され、最適な性能を示した。
• 多様性指標が0.16を超えると、分類精度が低下し始め、多様性と性能のトレードオフが顕在化した。
• 実験で測定された最大の多様性は0.2024であり、多様性スケールの上限として機能した。
• 本研究では、構造的多様性がアンサンブル精度に顕著に影響することを確認した。非線形的な関係が明確に示された。
• Kohavi-Wolpert分散法は多様性の傾向を効果的に捉えており、アンサンブルの多様性評価に有効であることが裏付けられた。