[논문 리뷰] A Survey on Ensemble Learning under the Era of Deep Learning

Yongquan Yang, Haijun Lv외 1명|arXiv (Cornell University)|2021. 01. 21.

Anomaly Detection Techniques and Applications참고 문헌 162인용 수 4

한 줄 요약

이 종합 검토는 딥 러닝 시대의 앙상블 학습에 대한 종합적인 개요를 제공하며, 방법론, 최근의 발전, 높은 계산 비용으로 인한 앙상블 딥 러닝의 구현 과제를 분석한다. 이는 핵심 기술적 과제를 규명하고, 자원 소비를 줄이며 일반화 성능를 향상시키기 위한 효율적이고 확장 가능한 앙상블 방법의 방향을 제안한다. 실세계 응용에서의 적용에 기여한다.

ABSTRACT

Due to the dominant position of deep learning (mostly deep neural networks) in various artificial intelligence applications, recently, ensemble learning based on deep neural networks (ensemble deep learning) has shown significant performances in improving the generalization of learning system. However, since modern deep neural networks usually have millions to billions of parameters, the time and space overheads for training multiple base deep learners and testing with the ensemble deep learner are far greater than that of traditional ensemble learning. Though several algorithms of fast ensemble deep learning have been proposed to promote the deployment of ensemble deep learning in some applications, further advances still need to be made for many applications in specific fields, where the developing time and computing resources are usually restricted or the data to be processed is of large dimensionality. An urgent problem needs to be solved is how to take the significant advantages of ensemble deep learning while reduce the required expenses so that many more applications in specific fields can benefit from it. For the alleviation of this problem, it is essential to know about how ensemble learning has developed under the era of deep learning. Thus, in this article, we present fundamental discussions focusing on data analyses of published works, methodologies, recent advances and unattainability of traditional ensemble learning and ensemble deep learning. We hope this article will be helpful to realize the intrinsic problems and technical challenges faced by future developments of ensemble learning under the era of deep learning.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 맥락에서 앙상블 학습의 발전과 현재 상태를 분석하기 위해.
• 실세계 응용에서 앙상블 딥 러닝의 광범위한 도입을 저해하는 계산 및 자원 제약을 규명하기 위해.
• 앙상블 딥 러닝에서 성능 향상과 증가된 학습/추론 비용 간의 트레이드오프를 검토하기 위해.
• 시간과 공간 오버헤드를 줄이기 위한 빠른 앙상블 학습 기법의 최근 발전을 강조하기 위해.
• 확장 가능하고 효율적인 앙상블 딥 러닝을 위한 향후 연구를 위한 비전도를 제공하기 위해.

제안 방법

• 딥 뉴럴 네트워크를 활용한 앙상블 학습에 관한 출판된 논문들을 체계적으로 검토하고 분석하기 위해.
• 학습 전략, 모델 다양성, 집계 기법을 기반으로 앙상블 방법을 분류하기 위해.
• 다양한 앙상블 아키텍처 간의 계산 비용과 효율성 트레이드오프를 평가하기 위해.
• 대규모 앙상블 딥 러닝 시스템에서 학습 및 추론의 주요 병목 현상을 규명하기 위해.
• 계산 오버헤드를 줄이기 위해 설계된 최근의 빠른 앙상블 학습 알고리즘을 조사하기 위해.
• 확장 가능하고 효율적인 앙상블 딥 러닝을 위한 열린 과제와 연구 방향을 통합하기 위해.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 부상과 함께 앙상블 학습은 어떻게 진화해 왔는가?
• RQ2 실제 응용에서 앙상블 딥 러닝의 구현을 제한하는 주요 계산 및 자원 제약는 무엇인가?
• RQ3 성능를 유지하면서도 앙상블 학습 및 추론을 가속화하기 위해 어떤 기법이 제안되었는가?
• RQ4 현대의 앙상블 방법은 모델 다양성, 정확도, 계산 효율성 간에 어떻게 균형을 이루는가?
• RQ5 확장 가능한 앙상블 딥 러닝에서 해결되지 않은 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 앙상블 딥 러닝은 모델 일반화 성능을 크게 향상시키지만, 딥 네트워크의 수백만에서 수십억 개의 파라미터로 인해 상당한 시간 및 공간 오버헤드를 수반한다.
• 기존의 앙상블 학습 방법은 높은 계산 요구량으로 인해 대규모 딥 러닝 응용에 대해 종종 실현 가능하지 않다.
• 최근 빠른 앙상블 학습 알고리즘이 제안되어 학습 및 추론 비용을 줄였지만, 자원 제약이 있는 환경에서는 여전히 향상이 필요하다.
• 이 검토는 앙상블 딥 러닝의 성능 이점과 자원 제약으로 인한 실질적 구현 간의 심각한 격차를 규명한다.
• 모델 다양성, 학습 효율성, 추론 속도는 특정 응용 분야에서 앙상블 딥 러닝의 실현 가능성에 영향을 미치는 핵심 요소이다.
• 저자들은 향후 연구가 실세계 구현을 위한 경량화, 확장 가능하고 효율적인 앙상블 프레임워크 개발에 집중해야 한다고 결론 내린다.