[論文レビュー] pystacked: Stacking generalization and machine learning in Stata

Achim Ahrens, Christian Hansen+1 more|arXiv (Cornell University)|Aug 23, 2022

Probability and Statistical Research被引用数 3

ひとこと要約

pystacked は、Python の scikit-learn を使用してスタッキング一般化——複数の機械学習モデルを統合する——を実装する Stata コマンドです。交差検証を用いてメタ特徴を生成し、最終的な重み付き平均モデルを適合させることで、回帰および二値分類の両方をサポートします。多様な基本学習器（例：ランダムフォレスト、勾配ブースティング、ニューラルネットワーク）を訓練し、予測性能を向上させます。スパム分類タスクにおいて AUC 0.997 の優れた予測性能を達成しました。

ABSTRACT

The pystacked command implements stacked generalization (Wolpert, 1992, Neural Networks 5: 241–259) for regression and binary classification via Python’s scikit-learn. Stacking combines multiple supervised machine learners— the “base” or “level-0” learners—into one learner. The currently supported base learners include regularized regression, random forest, gradient boosted trees, support vector machines, and feed-forward neural nets (multilayer perceptron). pystacked can also be used as a “regular” machine learning program to fit one base learner and thus provides an easy-to-use application programming interface for scikit-learn’s machine learning algorithms.

研究の動機と目的

• 予測精度を向上させる強力なアンサンブル手法としてのスタッキング一般化を、Stata ユーザーにシームレスに提供すること。
• 正則化回帰、ランダムフォレスト、勾配ブースティング、SVM、ニューラルネットワークを含む、scikit-learn の多様なアルゴリズムを統合することで、Stata の機械学習能力を拡張すること。
• 統一的で使いやすい API を通じて、スタッキング一般化と個々の学習器のスタンドアロン学習の両方をサポートすること。
• クロスフィットティングとロバストな予測モデルを介して DDML（ダブルデビアスド機械学習）と統合できる機能を提供することで、因果推論の応用を促進すること。
• スパース行列、カスタムパイプライン、並列処理を Stata ネイティブ環境でサポートすることで、再現性と使いやすさを向上させること。

提案手法

• スタッキングプロセスにおける過学習を防ぐために、複数の基本学習器から検証外予測（「メタ特徴」）を交差検証により生成する。
• 最終段階の学習器（通常は制約付き最小二乗法）を用い、基本モデルの交差検証予測値を入力特徴として真の出力を予測する。
• スタッキング重みに非負で合計が1になる制約を適用することで、基本モデルの重み付き平均としての解釈可能性を確保する。
• scikit-learn パイプラインを介して、モデル固有の前処理（例：ロジスティック回帰における多項式拡張）をサポートする。
• njobs() オプションを用いて並列処理を可能にし、勾配ブースティングやニューラルネットワークなど計算コストの高いモデルの学習を高速化する。
• 2 種類の構文バリエーションを提供：柔軟でモジュラーな構文と、使いやすさを重視した簡略化されたコマンドライン形式。

実験結果

リサーチクエスチョン

• RQ1 Stata におけるスタッキング一般化は、回帰および分類タスクにおいて個々の機械学習モデルよりも予測性能を顕著に向上させることができるか？
• RQ2 pystacked が scikit-learn と統合することで、既存のツールと比較して Stata の機械学習エコシステムにどのように向上をもたらすか？
• RQ3 実世界のデータセット（例：スパム分類タスク）において、スタッキングは個々の基本学習器と比較して予測誤差をどの程度低減するか？
• RQ4 クロスフィットティングと互換性を持つことにより、pystacked は DDML と統合することで因果推論の高度なユースケースをどの程度サポートするか？
• RQ5 複数の学習器を統合する際の、モデルの多様性、計算コスト、予測精度の間の実用的トレードオフは何か？

主な発見

• スパム分類タスクにおいて、スタッキングは検証外 AUC 0.9969 を達成し、ロジスティック回帰（AUC 0.9133）および個々の勾配ブースティングモデル（AUC 0.9973 および 0.9562）を顕著に上回りました。
• 600 樹の勾配ブースティングが最も高いスタッキング重み（0.482）を獲得し、最終予測に最も寄与しました。次に、1000 樹の勾配ブースティングモデル（重み 0.345）が続きました。
• 最終的なスタッキングモデルは、検証用データ1133件のうち 678 件の真陽性および 397 件の真陰性を達成し、テスト精度 94.9％ を記録しました。これに対してロジスティック回帰は 71.2％ でした。
• 混同行列の結果、スタッキングは検証セットで 29 件の偽陽性および 29 件の偽陰性を示しましたが、ロジスティック回帰はそれぞれ 294 件および 32 件でした。
• pystacked は、異なるアーキテクチャのニューラルネットワークを含む多様なモデルを、手動でのモデル統合を必要とせずに、1 つの高性能なアンサンブルに統合できました。
• スパース行列、カスタムパイプライン、並列処理（njobs を介して）のサポートにより、Stata 内部で大規模データセットの効率的な学習とデプロイが可能になりました。