[論文レビュー] Diversity and Generalization in Neural Network Ensembles

Luis Ángel Ortega Cuesta, Rafael Cabañas+1 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用数 4

ひとこと要約

本論文は、ニューラルネットワークアンサンブルにおける多様性と一般化の理論的根拠に基づく枠組みを提示し、二乗損失、交差エントロピー損失、0-1損失のさまざまな損失関数およびモデル平均化、重み付き多数決投票の組み合わせ戦略において、多様性がアンサンブル誤差を低減することを示している。本論文は、新たな多様性測定指標を導入し、一般化誤差に与える影響を理論的に導出するとともに、実験的に高い多様性がアンサンブル性能の向上と相関することを検証した。特に、ランダム初期化やP2B-Ensembleなどの手法による多様性の促進が顕著に効果を示す。

ABSTRACT

Ensembles are widely used in machine learning and, usually, provide state-of-the-art performance in many prediction tasks. From the very beginning, the diversity of an ensemble has been identified as a key factor for the superior performance of these models. But the exact role that diversity plays in ensemble models is poorly understood, specially in the context of neural networks. In this work, we combine and expand previously published results in a theoretically sound framework that describes the relationship between diversity and ensemble performance for a wide range of ensemble methods. More precisely, we provide sound answers to the following questions: how to measure diversity, how diversity relates to the generalization error of an ensemble, and how diversity is promoted by neural network ensemble algorithms. This analysis covers three widely used loss functions, namely, the squared loss, the cross-entropy loss, and the 0-1 loss; and two widely used model combination strategies, namely, model averaging and weighted majority vote. We empirically validate this theoretical analysis with neural network ensembles.

研究の動機と目的

• ニューラルネットワークアンサンブルにおける多様性と一般化誤差の間の理論的根拠に基づく関係を確立すること。
• さまざまなアンサンブル手法や損失関数に適用可能な一般化可能で損失に依存しない多様性測定指標を定義すること。
• 既存のニューラルネットワークアンサンブルアルゴリズムが多様性をどのように促進し、アンサンブル性能に影響を与えるかを分析すること。
• さまざまなアーキテクチャとデータセットを用いて、理論的枠組みを実験的に検証すること。
• 多様性と個々のモデルの精度に基づいて、アンサンブルが個々のモデルを上回る条件を明確にすること。

提案手法

• 個々のモデルの予測の相関に基づき、新たな多様性測定指標 D(ρ) を導出する。
• PAC-Bayesian境界を用いて、アンサンブル一般化誤差を個々の誤差と多様性の成分に分解する。
• 二乗誤差、交差エントロピー、0-1損失の3つの損失関数にこの枠組みを適用する。
• モデル平均化と重み付き多数決投票の2つのモデル結合戦略を分析する。
• CIFAR-10、CIFAR-100、WineQualityのデータセット上で、LeNet5、ResNet20、MLP50を用いて枠組みを実験的に評価する。
• アンサンブルサイズの変動と、Ensemble や P2B-Ensemble などのアルゴリズムを用いて、多様性のスケーリングと性能の関係を検討する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、一般化誤差に結びつく形で、ニューラルネットワークアンサンブルの多様性を形式的に測定できるか？
• RQ2 多様性は、さまざまな損失関数において、アンサンブルの一般化誤差にどのように影響を与えるか？
• RQ3 個々のモデルの性能、多様性、アンサンブル一般化誤差の間のトレードオフは何か？
• RQ4 一般的なニューラルネットワークアンサンブルアルゴリズム（例：ランダム初期化、P2B-Ensemble）は、多様性をどのように促進するか？
• RQ5 アンサンブルが最良の単一モデルを上回る条件は何か？多様性を用いてその条件を予測できるか？

主な発見

• D(ρ) で測定される高い多様性を示すアンサンブルでは、個々のモデルとアンサンブルの間で性能差が一貫して大きくなり、誤差キャンセレーション効果が確認された。
• LeNet5 や MLP50 などの単純なネットワークでは、ランダム初期化が高多様性を生成せず、特に二乗損失下ではアンサンブルの利点が制限された。
• ResNet20 などの深層ネットワークでは、アンサンブルサイズの増加に伴い多様性が着実に増加し、一般化性能が向上した。
• P2B-Ensemble 法は、アンサンブルサイズの増加に伴い一貫して多様性を高め、低多様性領域では標準的なアンサンブル学習を上回った。
• 補題5は、アンサンブル優位性の実用的条件を提示する：多様性項が個々の誤差を上回る場合、アンサンブルは最良の単一モデルを上回る。
• 実験結果から、交差エントロピー損失および0-1損失において、標準的手法で訓練されたすべてのアンサンブルが補題5の条件を満たし、最良の単一モデルよりも一般化性能が優れていることが示された。