[論文レビュー] A Unified Theory of Diversity in Ensemble Learning

Danny Wood, Tingting Mu+4 more|arXiv (Cornell University)|Jan 10, 2023

Machine Learning and Data Classification被引用数 24

ひとこと要約

本論文は、統一的なバイアス-分散-多様性フレームワークを提示し、アンサンブル損失の中の隠れた成分としてアンサンブルの多様性を説明する。多くの損失関数とタスクに対して妥当であり、正確な分解を導出し、多様性がバイアスと分散とどのように相互作用してアンサンブルの性能に影響を与えるかを論じる。

ABSTRACT

We present a theory of ensemble diversity, explaining the nature of diversity for a wide range of supervised learning scenarios. This challenge has been referred to as the holy grail of ensemble learning, an open research issue for over 30 years. Our framework reveals that diversity is in fact a hidden dimension in the bias-variance decomposition of the ensemble loss. We prove a family of exact bias-variance-diversity decompositions, for a wide range of losses in both regression and classification, e.g., squared, cross-entropy, and Poisson losses. For losses where an additive bias-variance decomposition is not available (e.g., 0/1 loss) we present an alternative approach: quantifying the effects of diversity, which turn out to be dependent on the label distribution. Overall, we argue that diversity is a measure of model fit, in precisely the same sense as bias and variance, but accounting for statistical dependencies between ensemble members. Thus, we should not be maximising diversity as so many works aim to do -- instead, we have a bias/variance/diversity trade-off to manage.

研究の動機と目的

• 損失の分解に基づくアンサンブル多様性の原理的定義を提供する。
• さまざまな損失に対してバイアス-分散分解の項として多様性がどのように現れるかを示す。
• モデル適合性と多様性がどのように相互作用して、タスク全体でアンサンブルの性能に影響を与えるかを示す。

提案手法

• 広範な損失クラスに対する一般化されたバイアス-分散分解を導入する（Definition 2）。
• centroid combiner を定義して、これが一般化されたバイアス-分散-多様性分解を生み出すことを示す（Theorem 5）。
• 一般化された曖昧性分解を導出し、これをアンサンブルリスク（Proposition 3）に関連付ける。
• 加法的なバイアス-分散分解を持たない損失を、bias/effect および variance/effect の概念を用いて扱う（Theorem 6）。
• セクション4で、Bregman発散を適用してセントロイドと分解の解析形を得る。
• 0/1損失およびラベル分布依存多様性の含意を論じる（セクション4.2）。

実験結果

リサーチクエスチョン

• RQ1 回帰と分類の損失全体で、バイアス-分散フレームワーク内で多様性をどのように形式化できるか？
• RQ2 一般的な分解は、バイアスと分散が相互作用してアンサンブル性能を決定する可視な成分として多様性を露出できるか？
• RQ3 どの損失関数が正確なバイアス-分散-多様性分解を許容し、加法分解が成り立たない場合に多様性をどう定量化すべきか？
• RQ4 アンサンブル設計は、パフォーマンスを最適化するためにバイアス、分散、そして多様性のバランスをどう取るべきか？
• RQ5 セントロイドとセントロイドベースの結合器は、さまざまな損失を横断して多様性を露出させるうえでどのような役割を果たすか？

主な発見

• 多様性は、アンサンブル損失のバイアス-分散分解における隠れた次元である（Theorem 5）。
• 正確なバイアス-分散-多様性分解は、二乗損失、交差エントロピー、ポアソン損失を含む広い損失族に適用される（Theorem 5）。
• 加法的バイアス-分散分解を持たない損失の場合、ラベル分布依存性を用いて多様性効果を定量化できる（セクション4.2）。
• 多様性は一般化分解に負の符号で現れ、バイアスと分散が固定されているときにアンサンブルリスクの低減に寄与する（Theorem 5）。
• セントロイド結合器は、アンサンブル予測の平均損失の最小化子として定義され、損失間での統一分析を可能にする（Definition 4 および関連の議論）。
• 本フレームワークは、独立トレーニングおよび依存トレーニング、事前構築されたモデルプールの両方を包含する（Theorem 5 および付録）。