[論文レビュー] A Survey on Ensemble Learning under the Era of Deep Learning

Yongquan Yang, Haijun Lv+1 more|arXiv (Cornell University)|Jan 21, 2021

Anomaly Detection Techniques and Applications参考文献 162被引用数 4

ひとこと要約

本サーベイは、ディープラーニング時代におけるアンサンブル学習の包括的概要を提供し、手法、最近の進展、および高コストな計算負荷のためのアンサンブルディープラーニングの展開における課題を分析している。主な技術的障壁を特定し、モデルの汎化性能を向上させつつリソース要件を低減する効率的かつスケーラブルなアンサンブル手法の方向性を提案している。

ABSTRACT

Due to the dominant position of deep learning (mostly deep neural networks) in various artificial intelligence applications, recently, ensemble learning based on deep neural networks (ensemble deep learning) has shown significant performances in improving the generalization of learning system. However, since modern deep neural networks usually have millions to billions of parameters, the time and space overheads for training multiple base deep learners and testing with the ensemble deep learner are far greater than that of traditional ensemble learning. Though several algorithms of fast ensemble deep learning have been proposed to promote the deployment of ensemble deep learning in some applications, further advances still need to be made for many applications in specific fields, where the developing time and computing resources are usually restricted or the data to be processed is of large dimensionality. An urgent problem needs to be solved is how to take the significant advantages of ensemble deep learning while reduce the required expenses so that many more applications in specific fields can benefit from it. For the alleviation of this problem, it is essential to know about how ensemble learning has developed under the era of deep learning. Thus, in this article, we present fundamental discussions focusing on data analyses of published works, methodologies, recent advances and unattainability of traditional ensemble learning and ensemble deep learning. We hope this article will be helpful to realize the intrinsic problems and technical challenges faced by future developments of ensemble learning under the era of deep learning.

研究の動機と目的

• ディープニューラルネットワークの文脈におけるアンサンブル学習の進化と現在の状態を分析すること。
• 実世界の応用におけるアンサンブルディープラーニングの広範な採用を妨げる計算およびリソース制限を特定すること。
• アンサンブルディープラーニングにおけるパフォーマンス向上とトレーニング／推論コストの増加とのトレードオフを検討すること。
• 時間的・空間的オーバーヘッドを低減することを目的とした、高速アンサンブル学習技術の最近の進展を強調すること。
• スケーラビリティと効率性を向上させるための今後の研究のためのロードマップを提供すること。

提案手法

• ディープニューラルネットワークを用いたアンサンブル学習に関する出版済み論文の体系的レビューと分析。
• トレーニング戦略、モデル多様性、集約手法に基づくアンサンブル手法の分類。
• 異なるアンサンブルアーキテクチャ間での計算コストと効率性のトレードオフの評価。
• 大規模アンサンブルディープラーニングシステムにおけるトレーニングおよび推論の主なボトルネックの同定。
• 計算オーバーヘッドを低減することを目的とした最近の高速アンサンブル学習アルゴリズムのサーベイ。
• スケーラブルで効率的なアンサンブルディープラーニングにおける未解決の課題と研究方向の統合。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークの台頭に伴い、アンサンブル学習はどのように進化したか？
• RQ2 実際の応用においてアンサンブルディープラーニングの展開を制限する主な計算およびリソース制約は何か？
• RQ3 パフォーマンスを維持したまま、アンサンブル学習のトレーニングおよび推論を高速化するためにどのような技術が提案されたか？
• RQ4 現代のアンサンブル手法は、モデル多様性、正確性、計算効率の間でどのようにバランスを取っているか？
• RQ5 スケーラブルなアンサンブルディープラーニングにおける未解決の課題と今後の研究方向は何か？

主な発見

• アンサンブルディープラーニングはモデルの汎化性能を顕著に向上させるが、ディープネットワークに数百万～数十億のパラメータが存在するため、時間的・空間的オーバーヘッドが著しく増加する。
• 従来のアンサンブル学習手法は、大規模ディープラーニング応用においては、計算要求が高いため、しばしば非現実的である。
• 最近の高速アンサンブル学習アルゴリズムが、トレーニングおよび推論コストの低減を目的として提案されたが、リソース制限のある環境ではさらなる改善が求められる。
• 本サーベイは、アンサンブルディープラーニングのパフォーマンス上の利点と、リソース制限による実用的展開の間の顕著なギャップを特定している。
• モデル多様性、トレーニング効率、推論速度は、特定の応用分野におけるアンサンブルディープラーニングの実現可能性に影響を与える重要な要因である。
• 著者らは、今後の研究が、実世界の展開に適した軽量でスケーラブルかつ効率的なアンサンブルフレームワークの開発に注力すべきだと結論付けている。