[論文レビュー] Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection

Mehmet Umut Şen, Hakan Erdoğan|arXiv (Cornell University)|Jun 8, 2011

Face and Expression Recognition参考文献 25被引用数 5

ひとこと要約

本稿では、ヒンジ損失とグループスパarsityを用いてメタラーナーの重みを最適化する、スパース正則化を施したマックスマージンスタッキングを提案する。線形分類器の結合において、精度の向上と分類器数の削減を達成しており、特にl1-l2（グループスパarsity）の効果が顕著である。8つのデータセットにおいて、多様性がある・ない両方のアンサンブルで、標準的手法を上回る性能を発揮した。

ABSTRACT

The main principle of stacked generalization (or Stacking) is using a second-level generalizer to combine the outputs of base classifiers in an ensemble. In this paper, we investigate different combination types under the stacking framework; namely weighted sum (WS), class-dependent weighted sum (CWS) and linear stacked generalization (LSG). For learning the weights, we propose using regularized empirical risk minimization with the hinge loss. In addition, we propose using group sparsity for regularization to facilitate classifier selection. We performed experiments using two different ensemble setups with differing diversities on 8 real-world datasets. Results show the power of regularized learning with the hinge loss function. Using sparse regularization, we are able to reduce the number of selected classifiers of the diverse ensemble without sacrificing accuracy. With the non-diverse ensembles, we even gain accuracy on average by using sparse regularization.

研究の動機と目的

• 正則化付き経験的リスク最小化を用いてメタラーナーの重みを最適化することで、スタックド一般化の汎化性能を向上させること。
• 推論時間を短縮するために、最小限かつ効果的なベース分類器のサブセットを選択する課題に対処すること。
• 重み付き和（WS）、クラス依存重み付き和（CWS）、線形スタックド一般化（LSG）といった異なる線形結合タイプが、アンサンブルの精度と頑健性に与える影響を調査すること。
• l1およびl1-l2（グループスパarsity）正則化が、精度を損なわせずに選択されたベース分類器の数を削減する効果があるかどうかを評価すること。
• スタックド一般化における正則化付き学習と従来の最小二乗推定法の性能を比較すること。

提案手法

• マックスマージンの一般化を向上させるために、ヒンジ損失関数を用いた正則化付き経験的リスク最小化問題として、メタラーナーの重み学習を定式化する。
• l1およびl1-l2（グループスパarsity）正則化を適用し、重みベクトルのスパarsityを促進することで、不要な分類器の重みを0にすることで自動的な分類器選択を実現する。
• 内部交差検証を用いてメタラーナーのレベル1学習データを生成し、ベース分類器の出力がメタラーナー学習に使用された同一データで訓練されないよう、過学習を防ぐ。
• 3つの線形結合戦略を比較する：WS（均等重み）、CWS（クラス固有の重み）、LSG（クラススコアを特徴量とする線形メタ分類器）。
• 2段階のアンサンブル設定を採用：多様性のあるベース分類器を用いたセットと、多様性のない分類器を用いたセットを別々に評価し、多様性の異なる状況での頑健性を検証する。
• 全クラスにわたる重みを同時に最適化するためのマルチリスポンス学習フレームワークを採用し、結合プロセス中にクラス固有の関係性を保持する。

実験結果

リサーチクエスチョン

• RQ1 正則化付き経験的リスク最小化にヒンジ損失を適用することで、最小二乗推定法と比較して線形分類器結合の精度が向上するか？
• RQ2 グループスパarsity（l1-l2正則化）を用いることで、精度を損なわず、選択されたベース分類器の数を効果的に削減できるか？
• RQ3 WS、CWS、LSGといった異なる結合タイプが、多様性がある・ないアンサンブルにおいて性能に与える影響は？
• RQ4 スパース正則化は、ベース分類器が相関している非多様性アンサンブルでも、より良い一般化を実現するか？
• RQ5 l1正則化と比較して、l1-l2正則化は、分類器の選択スパarsityと精度の両面で優れているか？

主な発見

• ヒンジ損失と正則化を併用することで、最小二乗推定法と比較して顕著に精度が向上し、l1-l2正則化が全データセット平均で最小の誤差率を達成した。
• 多様性のあるアンサンブルでは、l1-l2正則化により、平均して分類器数が8.4（Segment）および3.0（Vowel）にまで削減されたのに対し、l2正則化では154にとどまったが、精度の損失は最小限であった。
• 非多様性アンサンブルでは、l1-l2正則化が平均誤差率9.96％を達成し、l2正則化（10.06％）を下回り、特にVowelおよびWineデータセットではベースラインを上回る精度を示した。
• CWSおよびLSGの設定において、l1-l2正則化はl1正則化と比較して、はるかに少ない分類器数（例：Segmentでは2.6 vs. 13.6）を選択しながら、精度を維持または向上させた。
• 非多様性環境下では、CWSにl1-l2正則化を適用した場合、平均して13.7個の分類器しか選択されず、精度とモデルの複雑さのバランスが最も良好であった。
• l1正則化と比較して、l1-l2正則化は、特にVowel（69.2 → 3.0）およびWine（65.0 → 21.9）といったデータセットで、精度とスパarsityの両面で優れた性能を示した。