[論文レビュー] Bagging in overparameterized learning: Risk characterization and risk monotonization

Pratik Patil, Jin‐Hong Du+1 more|arXiv (Cornell University)|Oct 20, 2022

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、過パラメータ化された設定におけるアンサンブル予測子の最適化を目的とした交差検証フレームワークを提案する。比例漸近的条件下におけるサブアーギングおよびスプラギングの変種の漸近的予測リスクを特徴づける。理論的に、交差検証を施したアンサンブル化がリスクプロファイルを単調化し、二重降下行動を排除するとともに、全データ学習を上回る一般化性能を実現することを示している。

ABSTRACT

Bagging is a commonly used ensemble technique in statistics and machine learning to improve the performance of prediction procedures. In this paper, we study the prediction risk of variants of bagged predictors under the proportional asymptotics regime, in which the ratio of the number of features to the number of observations converges to a constant. Specifically, we propose a general strategy to analyze the prediction risk under squared error loss of bagged predictors using classical results on simple random sampling. Specializing the strategy, we derive the exact asymptotic risk of the bagged ridge and ridgeless predictors with an arbitrary number of bags under a well-specified linear model with arbitrary feature covariance matrices and signal vectors. Furthermore, we prescribe a generic cross-validation procedure to select the optimal subsample size for bagging and discuss its utility to eliminate the non-monotonic behavior of the limiting risk in the sample size (i.e., double or multiple descents). In demonstrating the proposed procedure for bagged ridge and ridgeless predictors, we thoroughly investigate the oracle properties of the optimal subsample size and provide an in-depth comparison between different bagging variants.

研究の動機と目的

• 比例漸近的条件下におけるリッジおよびリッジレス推定子のアンサンブル化の漸近的予測リスクを特徴づけること。
• 制限されたリスクプロファイルを単調化するための、一般的な交差検証手順を開発し、最適なサブサンプルサイズを選択すること。
• サブアーギング（復元抽出）とスプラギング（非復元抽出）のリスク性能および単調性の観点から、それらを比較すること。
• 提案されたフレームワーク下でのリスク単調化に関する理論的保証を確立すること。
• 異なるアンサンブル化バージョンにおいて、最適なサブサンプルサイズがオракル的性質を示すことを示すこと。

提案手法

• 単純無作為抽出の古典的結果を用いて、アンサンブル化予測子の正確な漸近的リスク表現を導出する。
• 保証データ上で推定された予測リスクを最小化することで、交差検証を用いて最適なサブサンプルサイズを選択する。
• サブアーギング（復元抽出）とスプラギング（非復元抽出）を、別個のアンサンブル化バージョンとして分析する。
• リスク表現を、アスペクト比 φ = p/n、特徴量の共分散、および信号強度の関数として導出する。
• n, p → ∞ かつ p/n → φ となる比例漸近的設定を採用する。
• 複数のモデル（M-ISO-LI, M-AR1-LI）において、さまざまなSNRおよび特徴量構造を想定し、広範なシミュレーションを通じて理論的発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された線形モデルにおけるサブアーギングおよびスプラギングのリッジおよびリッジレス推定子の正確な漸近的予測リスクは何か？
• RQ2 サブサンプルサイズまたはアスペクト比の関数として、漸近的リスクを保証的に単調化する交差検証手順を設計できるか？
• RQ3 リスク性能およびモデル不適合へのロバストネスの観点から、サブアーギングとスプラギングはどのように比較できるか？
• RQ4 交差検証により選択された最適なサブサンプルサイズは、有限標本においてオラクルに近い性能を達成するか？
• RQ5 どのような条件下で、アンサンブル化が一般化誤差における二重降下現象を排除するか？

主な発見

• 提案された交差検証フレームワークは、アンサンブル化予測子の漸近的リスクを成功裏に単調化し、二重降下のような非単調な振るまいを排除した。
• 複数のバッグを用いたサブアーギングは、特に高次元的状況下で、アンサンブル化されていない予測子と比較して一貫して予測リスクを低減する。
• リッジレスおよびリッジ推定子において、交差検証により選択された最適なサブサンプルサイズは、理論的オラクルに近いリスク性能を達成する。
• 同じ条件下で、非復元抽出のスプラギングの漸近的リスクは、復元抽出のサブアーギングよりも一般に低くなる。特にMが大きい場合には顕著である。
• シミュレーションにおいて、交差検証を施したアンサンブル化予測子は、あらゆるSNRレベルおよび特徴量相関構造において、全データ推定子を上回る性能を示した。
• 交差検証を施したアンサンブル化予測子のリスク曲線は、アスペクト比φに関して単調であることが確認され、理論的予測を裏付けた。