[論文レビュー] Bagging Provides Assumption-free Stability

Jake A. Soloff, Rina Foygel Barber+1 more|arXiv (Cornell University)|Jan 30, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、教師あり学習におけるバギングの有限標本、仮定なしの安定性保証を確立し、サブバギングモデルがベースアルゴリズム、データ分布、共変量次元に関係なく、本質的に安定であることを証明している。主な結果は、最小限の条件下でも安定性が保証され、定数を除いて最適な境界が得られることを示している。これは、非常に不安定なベースラーナーに対しても成り立つ。

ABSTRACT

Bagging is an important technique for stabilizing machine learning models. In this paper, we derive a finite-sample guarantee on the stability of bagging for any model. Our result places no assumptions on the distribution of the data, on the properties of the base algorithm, or on the dimensionality of the covariates. Our guarantee applies to many variants of bagging and is optimal up to a constant. Empirical results validate our findings, showing that bagging successfully stabilizes even highly unstable base algorithms.

研究の動機と目的

• データ分布、ベースアルゴリズム、共変量次元に関する仮定なしに、バギングの有限標本安定性保証を提供すること。
• バギングが最小限の条件下でも、任意のベースアルゴリズム（非常に不安定なものでさえも）を安定化することを確立すること。
• 適応的クリッピングと有限なアンサンブルサイズを用いて、非有界出力への安定性結果を拡張すること。
• 定数を除いて最適な、決定論的かつ分布外に有効な安定性境界を提供すること。

提案手法

• 予測変化が閾値 ε を超えることを引き起こす訓練点の割合に基づく、アルゴリズム的安定性の新しい定義を導入する。
• ホフディングの不等式と集中不等式を用いて、バギング予測が無限標本極限から逸脱する度合いを制御する。
• 完全なデータと1点を除いたモデルを比較するカップリング論法を適用し、予測値の大きなシフトが生じる確率をバウンディングする。
• 尾部確率の統合を用いて安定性境界を導出し、サブバギング（m = pn 個の標本）に対して δε² ≳ 1/n · p/(1−p) の形の境界を得る。
• 非有界出力に対し、適応的クリッピングと有限なアンサンブルサイズ B を用いて結果を拡張し、極端な値を制御するためのロバストネス項 R(𝒟,x) を導入する。
• 一様なランダム順列を用いた確率的リサンプリング機構を用いてブートストラップサンプリングをモデル化し、決定論的境界を導出する。

Figure 1: Distribution of leave-one-out perturbations for logistic regression (red) and subbagged logistic regression (blue), with $n=500$ and $d=250$ . (See Section 6 for details on this simulation.)

実験結果

リサーチクエスチョン

• RQ1 データやアルゴリズムに関する仮定なしに、バギングは任意のベース学習アルゴリズムを安定化させることができるか？
• RQ2 最小限の条件下で、バギングの有限標本安定性保証をどのように導出できるか？
• RQ3 サブバギングにおける標本サイズ n と部分標本サイズ m の両方のスケーリングに伴い、バギングの安定性はどのように変化するか？
• RQ4 適応的クリッピングと有限な B を用いて、非有界出力に対しても安定性を保証できるか？
• RQ5 導出された安定性境界は、定数を除いて最適なものか？

主な発見

• 出力が有界な任意のベースアルゴリズムに対して、バギングは (ε,δ)-安定性を達成し、δε² ≳ 1/n · p/(1−p) が成り立つ。ここで p = m/n である。
• 安定性保証は、任意のデータ分布、任意のベースアルゴリズム、任意のテスト点（分布外の点を含む）に対して決定論的に成立する。
• 分析により、下界が一致することから、境界は定数因子を除いて最適であることが示された。
• 非有界出力に対しては、適応的クリッピングを施したバギングが (ε + √(2/B log(4/δ′)), δ_I + δ + δ′, R)-安定性を達成し、R は出力範囲を捉える。
• 実験結果は、バギングが予測分散を顕著に低減し、ロジスティック回帰のような非常に不安定なベースモデルですら安定化できることを確認している。
• 最小限のリサンプリング機構に関する仮定で、サブバギングや有限 B アンサンブルを含むさまざまなバギングの変種へも結果が拡張可能である。

Figure 2: Phase diagram comparing Theorems 8 and 10 .