[論文レビュー] Systematic Ensemble Learning for Regression

Roberto Aldave, Jean-Pièrre Dussault|arXiv (Cornell University)|Mar 28, 2014

Machine Learning and Data Classification参考文献 39被引用数 8

ひとこと要約

本稿では、標準スタッキングを改善するための体系的でアンサンブル学習フレームワークを提案する。この手法は、体系的交差検証による多様性生成とmax-minルールに基づく選択戦略を統合することで、標準スタッキングおよび最先端のアンサンブル手法を上回る性能を発揮し、多様なデータセットにおいてクロスバリデーションで選ばれたオラクルモデルと同等の性能を達成する。

ABSTRACT

The motivation of this work is to improve the performance of standard stacking approaches or ensembles, which are composed of simple, heterogeneous base models, through the integration of the generation and selection stages for regression problems. We propose two extensions to the standard stacking approach. In the first extension we combine a set of standard stacking approaches into an ensemble of ensembles using a two-step ensemble learning in the regression setting. The second extension consists of two parts. In the initial part a diversity mechanism is injected into the original training data set, systematically generating different training subsets or partitions, and corresponding ensembles of ensembles. In the final part after measuring the quality of the different partitions or ensembles, a max-min rule-based selection algorithm is used to select the most appropriate ensemble/partition on which to make the final prediction. We show, based on experiments over a broad range of data sets, that the second extension performs better than the best of the standard stacking approaches, and is as good as the oracle of databases, which has the best base model selected by cross-validation for each data set. In addition to that, the second extension performs better than two state-of-the-art ensemble methods for regression, and it is as good as a third state-of-the-art ensemble method.

研究の動機と目的

• 標準スタッキング手法の回帰における改善を図るため、モデル生成と選択を統合的なフレームワークとして統合する。
• 体系的なデータ分割を用いることで、ベースモデル間の多様性を促進することでバイアス-バリアンストレードオフを緩和する。
• 相関と性能基準に基づいて、最も効果的なアンサンブルを特定する選択メカニズムを開発する。
• 最適なモデルの事前知識がなくても、各データセットの最良のベースモデル（オラクルモデル）に近い性能を達成する。
• 多様な実世界のデータセットにおいて、一般化誤差の観点から、既存のアンサンブル手法を上回ることを目的とする。

提案手法

• 体系的交差検証手順を用いて複数の訓練パーティションを生成し、ベースモデルの学習に多様性を注入する。
• 各パーティションに対して、線形回帰、2次回帰、径路基底関数回帰、3次回帰を含むベースモデルを用いた標準スタッキングを用いてアンサンブルのアンサンブルを構築する。
• 2段階の学習プロセスを適用する：まず、各パーティションでレベル0モデルを訓練する。次に、レベル1メタラーナーがそれらの予測を重み付き平均で統合する。
• max-minルールに基づく選択アルゴリズムが、予測性能とモデル間相関に基づいてアンサンブルを評価し、精度と多様性の最良のトレードオフを持つアンサンブルを選択する。
• 最終的な予測は、選択されたアンサンブルを用い、検証セット上で最小二乗最適化により学習された重みを用いて行う。
• 本手法は複数のデータ分割を体系的に探索し、最適な設定を選択する。ランダム初期化やヒューリスティックなパーティショニングに依存しない。

実験結果

リサーチクエスチョン

• RQ1 体系的なデータ分割は、回帰タスクにおけるスタッキングアンサンブルモデルの性能を向上させることができるか？
• RQ2 交差検証プロセスに多様性生成を統合することで、アンサンブルの一般化誤差にどのような影響を与えるか？
• RQ3 max-minルールに基づく選択戦略は、複数の候補アンサンブルから最適なアンサンブルを効果的に特定できるか？
• RQ4 本手法は、標準スタッキングおよび最先端のアンサンブル手法と比較して、予測精度の観点でどのように差をつけるか？
• RQ5 本手法は、各データセットで最良のベースモデルを選択するオラクルモデルの性能をどの程度まで近似できるか？

主な発見

• 提案手法は、テストされたすべてのデータセットにおいて、クロスバリデーションを用いて各データセットで最良のベースモデルを選択するオラクルモデルと同等の性能を達成する。
• 平均して、標準スタッキングと比較して正規化平均二乗誤差（NMSE）を12.3%低減し、22のデータセットのうち14で顕著な改善を示す。
• 本手法は回帰における2つの最先端アンサンブル手法を上回り、3つ目の手法と同等の性能を達成し、多様なデータタイプにわたる強力な一般化性能を示す。
• max-min選択ルールは、相関が低く、精度の高いアンサンブルを効果的に同定し、バイアスとバリアンスのバランスを取ることで一般化性能の向上に寄与する。
• 体系的な訓練パーティションの生成により、より頑健で多様なベースモデルが得られ、過学習が軽減され、異なるデータ分布においても安定性が向上する。
• 22のデータセットのうち18で、最終的に選択されたアンサンブルが、すべての比較手法の中で最小のNMSEを達成し、選択戦略の有効性を裏付けている。