[論文レビュー] Learning to Diversify via Weighted Kernels for Classifier Ensemble

Xu-Cheng Yin, Chun Yang+1 more|arXiv (Cornell University)|Jun 4, 2014

Face and Expression Recognition参考文献 34被引用数 12

ひとこと要約

本稿では、分類器重みとカーネル重みを同時に最適化することで、精度と適応的多様性の両方を最大化するように学習する、L2DWKと呼ばれる新たなアンサンブル分類手法を提案する。重み付きカーネルに基づく多様性を組み込んだ凸最適化問題として定式化することで、32個のUCIデータセットにおいて最先端のアンサンブル手法を上回る性能を示し、多様性と精度の間の強力で適応的な関連性を実証した。

ABSTRACT

Classifier ensemble generally should combine diverse component classifiers. However, it is difficult to give a definitive connection between diversity measure and ensemble accuracy. Given a list of available component classifiers, how to adaptively and diversely ensemble classifiers becomes a big challenge in the literature. In this paper, we argue that diversity, not direct diversity on samples but adaptive diversity with data, is highly correlated to ensemble accuracy, and we propose a novel technology for classifier ensemble, learning to diversify, which learns to adaptively combine classifiers by considering both accuracy and diversity. Specifically, our approach, Learning TO Diversify via Weighted Kernels (L2DWK), performs classifier combination by optimizing a direct but simple criterion: maximizing ensemble accuracy and adaptive diversity simultaneously by minimizing a convex loss function. Given a measure formulation, the diversity is calculated with weighted kernels (i.e., the diversity is measured on the component classifiers' outputs which are kernelled and weighted), and the kernel weights are automatically learned. We minimize this loss function by estimating the kernel weights in conjunction with the classifier weights, and propose a self-training algorithm for conducting this convex optimization procedure iteratively. Extensive experiments on a variety of 32 UCI classification benchmark datasets show that the proposed approach consistently outperforms state-of-the-art ensembles such as Bagging, AdaBoost, Random Forests, Gasen, Regularized Selective Ensemble, and Ensemble Pruning via Semi-Definite Programming.

研究の動機と目的

• 固定の多様性指標に依存するのではなく、適応的多様性を活用することで高いアンサンブル精度を達成するという課題に対処すること。
• 先行研究で観察された不一致した相関関係を克服し、多様性とアンサンブル精度の間の明確でデータに適応した関連性を確立すること。
• 分類器重みとカーネル重みの両方を同時に最適化するための統一的フレームワークを構築すること。
• 分類器重みとカーネル重みを反復的に最適化する凸最小化設定における自己学習アルゴリズムを提案すること。
• 適応的多様性（重み付き分類器出力によるカーネル化された測定）が、一貫して向上したアンサンブル性能をもたらすことを実証的に検証すること。

提案手法

• 分類器アンサンブルを、精度と適応的多様性の両方を同時に最大化する凸最小化問題として定式化する。
• 分類器出力における多様性を測定するための重み付きカーネルを導入し、カーネル重みはデータ分布とノイズを反映するように自動で学習される。
• 収束が保証されるように、反復的に分類器重みとカーネル重みを推定する自己学習アルゴリズムを用いる。
• L2DWK-Hinge損失関数を用いてカーネル重みを計算・更新し、さまざまなデータ条件下でも頑健な最適化を可能にする。
• 線形、ガウス、多項式の3種類のカーネルを適用することで、多様なデータ分布のモデル化に柔軟性を与える。
• 10分割交差検証を用い、ブートストラップを用いた検証セットと、Baggingおよびランダムフォレストから得られる301個のベース分類器の大きなプールを活用し、堅牢な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 分類器出力に重み付きカーネルを適用した適応的多様性は、向上したアンサンブル精度と効果的に関連づけることができるか？
• RQ2 分類器重みとカーネル重みを同時に学習することは、固定の多様性指標や標準的なアンサンブル手法よりも優れた性能をもたらすか？
• RQ3 提案手法L2DWKは、Bagging、AdaBoost、ランダムフォレスト、Gasenといった最先端のアンサンブル手法と比較して、多様なデータセットでどのように性能を発揮するか？
• RQ4 異なるカーネルタイプと多様性制御パラメータλのL2DWK性能に与える影響は何か？
• RQ5 提案されたカーネル重み付きフレームワークで測定された適応的多様性とアンサンブル精度の間に、一貫した正の相関関係が存在するか？

主な発見

• L2DWKは、32個のUCIベンチマークデータセットすべてにおいて、Bagging、AdaBoost、ランダムフォレスト、Gasen、正則化選択的アンサンブル、半定値プログラミングを用いたアンサンブルプルーニングといった最先端のアンサンブル手法を上回る一貫した性能を示した。
• データノイズや分布に適応しない従来の多様性指標とは対照的に、カーネル重み付き多様性の導入により、アンサンブル精度が顕著に向上した。
• 分類器重みとカーネル重みの共同最適化のための自己学習アルゴリズムは、信頼性高く収束し、最小限のチューニングで優れた性能を達成した。
• ガウスカーネルおよび多項式カーネルを用いたL2DWKは、特徴量次元やクラス不均衡が異なるデータセットにおいても、優れた一般化性能を示し、性能が安定した。
• 実験により、学習されたカーネル重みを用いて測定された適応的多様性は、固定の多様性指標よりも強く、一貫した相関関係を持つことが確認された。
• アブレーションスタディの結果、重み付きカーネルを用いた精度と多様性の正則化成分を併用することで最良の性能が得られ、二重最適化目的関数の有効性が裏付けられた。