[論文レビュー] When are ensembles really effective?

Ryan Theisen, Hyunsuk Kim+3 more|arXiv (Cornell University)|May 21, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿は、アンサンブルが分類性能を顕著に向上させる状況を理論的・実証的に特定するため、アンサンブル改善率（EIR）と不一致誤差比（DER）を導入する。アンサンブルが最も効果的であるのはDER > 1である、すなわち誤差率に対してモデル間の不一致が顕著である場合であると証明し、補間モデル（例：深層ニューラルネットワーク）は非補間モデル（例：ランダムフォレスト）ほど恩恵を享受しないことを示している。補間境界を超えてさえも、非補間モデルではアンサンブルが著しく有効である。

ABSTRACT

Ensembling has a long history in statistical data analysis, with many impactful applications. However, in many modern machine learning settings, the benefits of ensembling are less ubiquitous and less obvious. We study, both theoretically and empirically, the fundamental question of when ensembling yields significant performance improvements in classification tasks. Theoretically, we prove new results relating the \emph{ensemble improvement rate} (a measure of how much ensembling decreases the error rate versus a single model, on a relative scale) to the \emph{disagreement-error ratio}. We show that ensembling improves performance significantly whenever the disagreement rate is large relative to the average error rate; and that, conversely, one classifier is often enough whenever the disagreement rate is low relative to the average error rate. On the way to proving these results, we derive, under a mild condition called \emph{competence}, improved upper and lower bounds on the average test error rate of the majority vote classifier. To complement this theory, we study ensembling empirically in a variety of settings, verifying the predictions made by our theory, and identifying practical scenarios where ensembling does and does not result in large performance improvements. Perhaps most notably, we demonstrate a distinct difference in behavior between interpolating models (popular in current practice) and non-interpolating models (such as tree-based methods, where ensembling is popular), demonstrating that ensembling helps considerably more in the latter case than in the former.

研究の動機と目的

• 現代の機械学習におけるアンサンブルが非自明な性能向上をもたらすタイミングの曖昧さを解消すること。
• 分類精度の向上または未達成の条件を形式化すること。
• 補間モデル（例：深層ニューラルネットワーク）と非補間モデル（例：木ベースのモデル）の間でアンサンブルの有効性を実証的に比較すること。
• 理論的保証のための最小限で現実的な条件としての『熟練度仮定』を導入し、検証すること。
• 実務家がアンサンブルのトレーニングとデプロイに投資すべきタイミングを示す実用的ガイドラインを提供すること。

提案手法

• アンサンブルによる誤差低減の相対的尺度として、アンサンブル改善率（EIR）を定義する。
• アンサンブル有効性の主要な予測子として、不一致誤差比（DER）を導入し、平均誤差に対する不一致の程度を測定する。
• 病理的ケースを除外し、EIRに対するよりきつい理論的バインドを可能にするために「熟練度仮定」を提唱する。
• 熟練度仮定の下で、EIRがDERの線形関数によって上界および下界で抑えられ、DER > 1のときEIRが増加することを証明する。
• 深層アンサンブル、ランダム特徴モデル、微調整されたBERTを含む多様なタスクにおける実証的検証を通じて、理論的予測の妥当性を検証する。
• 特に補間モデル（ゼロトレーニング誤差）と非補間モデルの間で、アンサンブルの挙動を比較する。

実験結果

リサーチクエスチョン

• RQ1 分類タスクにおいて、アンサンブルが顕著な性能向上をもたらす条件は何か？
• RQ2 不一致誤差比（DER）は、アンサンブルの向上幅をどの程度予測できるか？
• RQ3 なぜ補間モデル（例：深層ニューラルネットワーク）は非補間モデル（例：ランダムフォレスト）に比べてアンサンブルによる利益が限定的なのか？
• RQ4 現実の機械学習環境において、熟練度仮定はどの程度成立するか？
• RQ5 EIRとDERの線形関係は、多様なモデルアーキテクチャーやデータセットにおいて実証的に検証可能か？

主な発見

• 不一致誤差比（DER）が1を超える場合、すなわち誤差率に対して不一致が顕著である場合、アンサンブルは顕著な性能向上をもたらす。
• 熟練度仮定の下で、アンサンブル改善率（EIR）はDERの線形関数によって上界および下界で抑えられ、理論的根拠としてのアンサンブル向上の予測が可能になる。
• 補間アンサンブル（例：深層ニューラルネットワーク、ランダム特徴モデル）は、EIRが一貫して低く、補間境界を超えると改善率が急激に低下する。
• ランダムフォレストのような非補間モデルは、モデル容量が増大しても高いEIRとDERを維持し、ゼロトレーニング誤差に達するまで両指標がプラトーに達する。
• 実証的結果から、EIRとDERの相関関係が多様な設定で強く確認され、理論的バインドの妥当性が裏付けられる。
• GLUEタスクにおける微調整されたBERTアンサンブルは、一貫して低いDER（＜1）と低いEIRを示し、補間モデルではアンサンブルによる利益が小さいという理論と整合的である。