[論文レビュー] Combining Varied Learners for Binary Classification using Stacked Generalization

Sruthi Nair, Abhishek Gupta+2 more|arXiv (Cornell University)|Feb 17, 2022

Face and Expression Recognition被引用数 5

ひとこと要約

本論文は、多変量かつカテゴリカルデータの特徴を有するデータセット（例：多嚢胞性卵巣症候群（PCOS））における二値分類のパフォーマンスを向上させるためにスタッキング（スタッキング一般化）を提案する。多様なベースラーナー（ロジスティック回帰、SVM、MLP、ランダムフォレスト、KNN）を組み合わせたメタラーナーを用いることで、汎化誤差が著しく低減され、F2スコア（83.73％）やハミングロス（12.72％）といった複数の指標において個々のモデルを上回る性能を示した。

ABSTRACT

The Machine Learning has various learning algorithms that are better in some or the other aspect when compared with each other but a common error that all algorithms will suffer from is training data with very high dimensional feature set. This usually ends up algorithms into generalization error that deplete the performance. This can be solved using an Ensemble Learning method known as Stacking commonly termed as Stacked Generalization. In this paper we perform binary classification using Stacked Generalization on high dimensional Polycystic Ovary Syndrome dataset and prove the point that model becomes generalized and metrics improve significantly. The various metrics are given in this paper that also point out a subtle transgression found with Receiver Operating Characteristic Curve that was proved to be incorrect.

研究の動機と目的

• 高次元かつカテゴリカル特徴集合を用いて学習された機械学習モデルにおける汎化誤差の問題に取り組むこと。
• 多嚢胞性卵巣症候群（PCOS）データセットにおける二値分類パフォーマンスの向上に、スタッキング一般化の有効性を評価すること。
• ROC-AUCが唯一の性能指標として用いられる場合の信頼性に疑問を呈し、Fスコアや他の指標との乖離を示すこと。
• ROC-AUCが示す結果とは対照的に、アンサンブルスタッキングが個々のモデルを上回ることを示すこと。
• Fβスコア、ハミングロス、ジャコーデインデックスといった複数の指標を用いた包括的評価を通じて、モデルの頑健性を検証すること。

提案手法

• 5つのベースモデル（ロジスティック回帰、SVM、MLP、ランダムフォレスト、K近傍法）を訓練することでスタッキング一般化を実装した。
• ベースモデルの予測結果を入力特徴量として用い、メタラーナー（ロジスティック回帰）を用いて最終的なアンサンブル予測を生成した。
• カテゴリカル特徴に対してワンホットエンコーディングとラベルエンコーディングを適用し、次元削減のための特徴選択を実施した。
• ロジスティック回帰ではシグモイド（ロジット）関数を用いた：$\sigma(Z) = \frac{1}{1+e^{-Z}}$、ここで $Z = \gamma_0 + \sum \gamma_i x_i$。
• SVMの意思決定境界を $w^T x + b = 0$ として定式化し、クラスを分離するためのマージン最大化を実現した。
• 複数の指標を用いてモデルのパフォーマンスを評価した：Fβスコア（$\beta = 0.5, 1, 2$）、ハミングロス、ジャコーデインデックス。

実験結果

リサーチクエスチョン

• RQ1 スタッキング一般化は、高次元かつカテゴリカルな二値分類タスクにおける汎化誤差を効果的に低減できるか？
• RQ2 多様な評価指標において、スタッキング一般化のパフォーマンスは個々のモデルと比べてどの程度優れているか？
• RQ3 この文脈において、ROC-AUCはどの程度誤解を招く指標となり得るのか、その根拠は何か？
• RQ4 アンサンブルアプローチは、F2スコア、ハミングロス、ジャコーデインデックスの観点から、単体モデルを上回る性能を示せるか？
• RQ5 他の指標がより優れた汎化性能を示している場合、ROC-AUCが高くてもスタッキングは単体モデルを上回れるか？

主な発見

• スタッキング一般化はF2スコア（83.73％）を最高記録とし、SVMおよびランダムフォレスト（両者とも82.22％）やMLP（75.28％）を著しく上回った。
• スタッキング一般化のハミングロスは12.72％であり、全モデル中最も低く、ラベル予測の正確性が優れていることを示した。
• スタッキング一般化のジャコーデインデックスは77.41％であり、全モデルで最高であり、真のラベルと予測ラベルの重複度が高かったことを確認した。
• SVMおよびランダムフォレストはROC-AUCスコアが高かったが、F2スコアはスタッキング一般化に劣っており、ROC-AUCが誤解を招く可能性があることを示した。
• スタッキングモデルは全指標において優れた汎化性能を示し、高次元データにおける過学習を緩和できることを実証した。
• 本研究では、AUC-ROCにのみ依存すると、モデルパフォーマンスに関する誤った結論を導く可能性があることが判明し、複数指標による評価の重要性が強調された。