[論文レビュー] Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity

Wenjing Li, Randy Paffenroth+1 more|arXiv (Cornell University)|Sep 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 7

ひとこと要約

この論文は、ベースラーナー間の多様性を明示的に促進するニューラルネットワークアンサンブルの新しいトレーニングアルゴリズムを提案しており、顕著に向上した性能を達成している。理論的境界を用いて個々の精度とアンサンブルの多様性を厳密にバランスさせることで、ベンチマークデータセット上で最先端の個々のモデルよりも2–6倍低い誤差率を達成した。

ABSTRACT

Ensemble learning is a process by which multiple base learners are strategically generated and combined into one composite learner. There are two features that are essential to an ensemble's performance, the individual accuracies of the component learners and the overall diversity in the ensemble. The right balance of learner accuracy and ensemble diversity can improve the performance of machine learning tasks on benchmark and real-world data sets, and recent theoretical and practical work has demonstrated the subtle trade-off between accuracy and diversity in an ensemble. In this paper, we extend the extant literature by providing a deeper theoretical understanding for assessing and improving the optimality of any given ensemble, including random forests and deep neural network ensembles. We also propose a training algorithm for neural network ensembles and demonstrate that our approach provides improved performance when compared to both state-of-the-art individual learners and ensembles of state-of-the-art learners trained using standard loss functions. Our key insight is that it is better to explicitly encourage diversity in an ensemble, rather than merely allowing diversity to occur by happenstance, and that rigorous theoretical bounds on the trade-off between diversity and learner accuracy allow one to know when an optimal arrangement has been achieved.

研究の動機と目的

• ニューラルネットワークアンサンブルにおける個々のラーナーの精度とアンサンブルの多様性のトレードオフに関する、より深い理論的理解を構築すること。
• 偶然的または付随的な多様性に依存するのではなく、多様性を明示的に促進するトレーニングアルゴリズムを設計すること。
• 明示的に促進された多様性が、バイナリ分類およびマルチラベル分類の両タスクで優れた性能をもたらすことを示すこと。
• 精度と多様性の指標に基づいて最適なアンサンブル構成を特定する、厳密な理論的境界を確立すること。
• 追加のトレーニングを最小限に抑えながら、最適化されたアンサンブルに最先端の深層ニューラルネットワークを統合して、性能を向上させること。

提案手法

• この手法は、ベースラーナー間の相関が高くなるのを明示的にペナルティ化するトレーニング目的関数を導入し、修正された損失関数を通じて多様性を促進する。
• 特にコーシー＝シュバルツの不等式を用いて、アンサンブルの性能を制約する共分散および相関関係に基づく理論的境界を活用する。
• ラーナーの出力と正解ラベルを単位分散に標準化することで、アンサンブルの挙動に関する一貫性のある相関分析を可能にする。
• 理論的分析により、ラーナー間の平均相関 ($ r_{LL}^{(ave)} $) と、アンサンブルがターゲットとの相関 ($ r_{TL}^{(ave)} $) に与える影響に関する境界が導出される。
• トレーニングプロセスは、個々のラーナーの事前トレーニング後に少数の追加エポックのみを必要とするため、計算的に効率的で実用的である。
• このアプローチは、同質的および非同質的アンサンブルの両方へ一般化可能であり、同質的ケースに対して理論的根拠が提供されている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアンサンブルにおける明示的な多様性トレーニングは、データサンプリングやブースティングによる偶然的多様性に依存する場合よりも、より優れた性能をもたらすか？
• RQ2 個々のラーナーの精度とアンサンブルの多様性のトレードオフを支配する理論的境界は何か？
• RQ3 アンサンブルが精度と多様性の最適バランスに達したと判断するにはどうすればよいか？
• RQ4 明示的に多様性を促進することは、バイナリ分類およびマルチラベル分類の両タスクで性能向上をもたらすか？
• RQ5 最先端の個々のモデルは、多様性最適化アンサンブルに統合することで、さらなる向上が可能か？

主な発見

• 提案手法は、ベンチマークデータセット上で、最先端の個々のニューラルネットワークより2–6倍低い分類誤差率を達成した。
• トレーニング目的関数を通じて多様性を明示的に促進することで、標準的なアンサンブルトレーニング手法に比べて顕著な性能向上が得られた。
• 共分散および相関関係に基づく理論的境界は、アンサンブル構成の評価と最適化を合理的に行う手法を提供する。
• この手法は、個々のラーナーの事前トレーニング後に少数の追加エポックのみを必要とするため、計算的に効率的である。
• 結果として、理論的境界が同質的アンサンブルに限定される中でも、ラーナー間の平均相関 ($ r_{LL}^{(ave)} $) とアンサンブル精度との間に強い一般的な関係が示された。
• 数値実験により、精度と多様性のトレードオフは繊細であり、明示的なトレーニングによって最適化可能で、優れた一般化性能が得られることを確認した。