[論文レビュー] A Bayes interpretation of stacking for M-complete and M-open settings

Tri Le, Bertrand Clarke|arXiv (Cornell University)|Feb 16, 2016

Bayesian Modeling and Causal Inference参考文献 11被引用数 3

ひとこと要約

本稿は、M-completeおよびM-openな設定において、スタッキングのベイズ的妥当性を示し、スタッキング重みが漸近的に事後期待損失を最小化することを示すことにより、交差検証をベイズ最適手順として形式化する。標準的な正の制約および和が1の制約を緩和し、ブートストラップ標本を用いたデータ駆動型基底生成により予測子選択と重み付けを最適化する。

ABSTRACT

In M-open problems where no true model can be conceptualized, it is common to back off from modeling and merely seek good prediction. Even in M-complete problems, taking a predictive approach can be very useful. Stacking is a model averaging procedure that gives a composite predictor by combining individual predictors from a list of models using weights that optimize a cross-validation criterion. We show that the stacking weights also asymptotically minimize a posterior expected loss. Hence we formally provide a Bayesian justification for cross-validation. Often the weights are constrained to be positive and sum to one. For greater generality, we omit the positivity constraint and relax the `sum to one' constraint. A key question is `What predictors should be in the average?' We first verify that the stacking error depends only on the span of the models. Then we propose using bootstrap samples from the data to generate empirical basis elements that can be used to form models. We use this in two computed examples to give stacking predictors that are (i) data driven, (ii) optimal with respect to the number of component predictors, and (iii) optimal with respect to the weight each predictor gets.

研究の動機と目的

• M-completeおよびM-openな統計的設定におけるスタッキングを、ベイズ最適手順として形式化すること。
• スタッキング重みに対する従来の制約（正の制約および和が1の制約）を緩和し、より一般化すること。
• ブートストラップで生成された経験的基底要素を用いて、予測子の選択と重み付けをデータ駆動型に最適化する手法を開発すること。
• スタッキング誤差がモデルのスパンにのみ依存することを示し、モデルに依存しない最適化を可能にすること。
• 予測モデリングにおける事後期待損失最小化の代理として交差検証を用いることの理論的妥当性を提供すること。

提案手法

• leave-one-out交差検証を用いて、事後期待損失最小化とスタッキング重み最適化との間の漸近的同値性を導出する。
• 正の制約および和が1の要件を除外することで、スタッキング重みに対する標準的制約を緩和し、より柔軟な最適化を可能にする。
• ブートストラップ再標本を用いて、候補モデルのスパンを表す経験的基底要素を生成し、データ駆動型のモデル構築を可能にする。
• 定理3.7を適用して、スタッキング誤差がモデルのスパンにのみ依存し、特定の基底に依存しないことを示す。
• ヒルバート空間における正規直交分解および射影理論を用いて、最小スタッキング誤差が同等のモデル基底に対して不変であることを証明する。
• leverage（影響力）、残差、予測値の関係を用いて、特定の仮定下でスタッキング重みの閉形式表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 スタッキングは、M-completeおよびM-openな設定において、正式にベイズ最適手順として正当化可能か？
• RQ2 正の制約や和が1の制約がない場合のスタッキング重みの緩和が、予測性能および理論的性質に与える影響は何か？
• RQ3 モデルのスパンがスタッキング誤差に果たす役割は何か？ そして、最適な予測子構築にどう活用できるか？
• RQ4 ブートストラップに基づく経験的基底要素は、スタッキングにおけるコンポーネント予測子の選択と重み付けを向上させられるか？
• RQ5 leave-one-out交差検証は、予測モデリングにおける事後期待損失最小化をどの程度近似するか？

主な発見

• スタッキング重みは漸近的に事後期待損失を最小化するため、M-complete問題における交差検証のベイズ的妥当性を正式に示す。
• スタッキング誤差は、使用された特定の基底に依存せず、モデルのスパンにのみ依存するため、モデル選択と基底表現の分離が可能であることを示唆する。
• leverage値が漸近的に消える場合、対称的な残差構造および予測構造のもとで、スタッキング重みは等しい重み（それぞれ1/2）に収束する。
• 和が2の制約がある場合、モデル間の予測分散が等しければ、重みは等しく1になることが示され、制約の変化に適応可能であることが明らかになる。
• 同じモデルスパンの異なる正規直交基底間で最小スタッキング誤差が不変であることが示され、理論的頑健性が裏付けられる。
• 理論的結果はleave-k-out交差検証へと拡張可能であり、交差検証のベイズ的妥当性のより広範な適用性を支持する。