[論文レビュー] Pooling homogeneous ensembles to build heterogeneous ones

Maryam Sabzevari, Gonzalo Martínez-Muñoz+1 more|arXiv (Cornell University)|Feb 21, 2018

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、SVM、MLP、ランダムフォレストなどの異なるタイプの事前学習済み同種アンサンブルを、連続的な単体に基づく構成戦略で統合することで、異種アンサンブルを構築する新規手法を提案する。各同種アンサンブルからの分類器の割合を、Out-of-Bag検証または交差検証により最適化することで、多様なデータセットにおいて一貫して優れた性能を達成し、個々の同種アンサンブルや既存の異種組み合わせを上回る精度と頑健性を実現する。

ABSTRACT

In ensemble methods, the outputs of a collection of diverse classifiers are combined in the expectation that the global prediction be more accurate than the individual ones. Heterogeneous ensembles consist of predictors of different types, which are likely to have different biases. If these biases are complementary, the combination of their decisions is beneficial. In this work, a family of heterogeneous ensembles is built by pooling classifiers from M homogeneous ensembles of different types of size T. Depending on the fraction of base classifiers of each type, a particular heterogeneous combination in this family is represented by a point in a regular simplex in M dimensions. The M vertices of this simplex represent the different homogeneous ensembles. A displacement away from one of these vertices effects a smooth transformation of the corresponding homogeneous ensemble into a heterogeneous one. The optimal composition of such heterogeneous ensemble can be determined using cross-validation or, if bootstrap samples are used to build the individual classifiers, out-of-bag data. An empirical analysis of such combinations of bootstraped ensembles composed of neural networks, SVMs, and random trees (i.e. from a standard random forest) illustrates the gains that can be achieved by this heterogeneous ensemble creation method.

研究の動機と目的

• 事前にある同種アンサンブルから得られる多様なベース分類器を活用することで、効果的な異種アンサンブルを構築する課題に対処すること。
• 分類器タイプの数 M に対応する M 次元正単体上に位置する連続的かつパrameter化されたフレームワークを用いて、異種アンサンブルを構成するための枠組みを構築すること。
• Out-of-Bagデータまたは交差検証を用いて、異種アンサンブルの最適な構成（各分類器タイプの理想的な割合）を特定すること。
• 実験的に、このような構成戦略が、個々の同種アンサンブルや既存の異種アンサンブル手法を常に上回ることを検証すること。
• 広範なベンチマークデータセットにおいて、予測精度が統計的に有意に向上することを示すこと。

提案手法

• SVM、MLP、ランダムフォレストなどの異なる分類器タイプを用いて M 個の同種アンサンブルを構築し、多様性を確保するためブートストラップサンプリングにより学習させる。
• これらの M 個の同種アンサンブルからの分類器を組み合わせることで異種アンサンブルを形成し、その構成は M 次元正単体上の点として定義される。
• 単体の各頂点は1つの同種アンサンブルに対応し、単体内の位置が最終アンサンブルにおける各タイプの分類器の割合を決定する。
• ブートストラップサンプリングが用いられる場合にはOut-of-Bag（OOB）誤差率を用いて最適な構成を推定し、適用可能な場合には交差検証を用いる。
• 最終的な異種アンサンブルは、OOBまたは交差検証により得られた最適な構成から導かれる重みを用いた重み付き平均により予測を統合する。
• このアプローチにより、同種アンサンブル間の滑らかな補間が可能となり、異種構成の体系的探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 異なるタイプの事前学習済み同種アンサンブルを統合することで、連続的な異種アンサンブルの族を構築できるか？
• RQ2 異種アンサンブルの最適な構成（各タイプの分類器の割合）は、さまざまな学習問題において顕著に異なるか？
• RQ3 Out-of-Bag誤差推定は、異種アンサンブルの最適な構成を信頼的かつ効率的に特定するための有効な手法であるか？
• RQ4 提案手法は、多様なデータセットにおいて、個々の同種アンサンブル（例：ランダムフォレスト、SVMアンサンブル、MLPアンサンブル）を常に上回る精度を達成できるか？
• RQ5 提案手法による性能向上は、既存のアンサンブル手法と比較して統計的に有意であるか？

主な発見

• 提案手法は17のベンチマークデータセットすべてで最高または第2位の性能を達成し、個々の同種アンサンブルや既存の異種組み合わせを上回った。
• 平均して、ランダムフォレスト（RF）、MLPアンサンブル（E-MLP）、SVMアンサンブル（E-SVM）よりも低いテスト誤差を達成し、両者に対して統計的に有意な優位性（p < 0.05）を示した。
• 異種アンサンブルの最適な構成は非常に問題依存的であり、データセットごとに分類器の割合が顕著に変化した—例として、Bupaデータセットではランダムツリーが63.0%、Colicデータセットでは91.9%であった。
• Demšar検定では平均順位1.55を達成し、E-MLP（平均順位1.50）を上回り、E-SVM（平均順位1.41）に次ぐ成績であったが、E-SVMとの差は統計的に有意ではなかった。
• Ringnormデータセットでは、テスト誤差1.6% ± 0.4%を達成し、E-MLP（16.4% ± 1.5%）やE-SVM（1.7% ± 0.5%）を大きく下回り、非線形性の高い複雑な問題でも優れた性能を示した。
• 本手法はすべてのデータセットで誤差率を一貫して低減し、OOB検証により最良の設定が選択されたことから、最適化戦略の有効性が裏付けられた。