[논문 리뷰] Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity

Wenjing Li, Randy Paffenroth외 1명|arXiv (Cornell University)|2021. 09. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 7

한 줄 요약

이 논문은 신경망 앙상블의 훈련 알고리즘을 새롭게 제안하며, 기저 학습기 간의 다양성을 명시적으로 장려함으로써 성능을 크게 향상시킨다. 이론적 경계를 통해 개인의 정확도와 앙상블의 다양성 간의 균형을 엄격히 유지함으로써, 기준 데이터셋에서 최신 기술의 개별 모델보다 2–6× 낮은 오류율을 달성한다.

ABSTRACT

Ensemble learning is a process by which multiple base learners are strategically generated and combined into one composite learner. There are two features that are essential to an ensemble's performance, the individual accuracies of the component learners and the overall diversity in the ensemble. The right balance of learner accuracy and ensemble diversity can improve the performance of machine learning tasks on benchmark and real-world data sets, and recent theoretical and practical work has demonstrated the subtle trade-off between accuracy and diversity in an ensemble. In this paper, we extend the extant literature by providing a deeper theoretical understanding for assessing and improving the optimality of any given ensemble, including random forests and deep neural network ensembles. We also propose a training algorithm for neural network ensembles and demonstrate that our approach provides improved performance when compared to both state-of-the-art individual learners and ensembles of state-of-the-art learners trained using standard loss functions. Our key insight is that it is better to explicitly encourage diversity in an ensemble, rather than merely allowing diversity to occur by happenstance, and that rigorous theoretical bounds on the trade-off between diversity and learner accuracy allow one to know when an optimal arrangement has been achieved.

연구 동기 및 목표

• 신경망 앙상블에서 기저 학습기의 정확도와 앙상블의 다양성 간의 상호작용에 대한 깊이 있는 이론적 이해를 확립하는 것.
• 임의적 또는 부수적인 다양성에 의존하는 것이 아니라, 다양성을 명시적으로 촉진하는 훈련 알고리즘을 설계하는 것.
• 명시적으로 장려된 다양성이 이진 및 다중 레이블 분류 작업 모두에서 뛰어난 성능을 내는지 확인하는 것.
• 정확도와 다양성 지표를 기반으로 최적의 앙상블 구성 조건을 규명하는 엄밀한 이론적 경계를 수립하는 것.
• 추가 훈련 비용을 최소화하면서 최신 기술의 딥 뉴럴 네트워크를 최적화된 앙상블에 통합하여 성능을 향상시키는 것.

제안 방법

• 기본 학습기 간의 높은 상관관계를 명시적으로 방지하는 훈련 목표를 도입하여, 수정된 손실 함수를 통해 다양성을 촉진하는 방법.
• 공분산과 상관관계 관계에서 유도된 이론적 경계를 활용하며, 특히 코시-슈바르츠 부등식을 사용해 앙상블 성능를 제약하는 방법.
• 학습기 출력과 진짜 레이블을 모두 단위 분산으로 표준화하여, 앙상블 행동에 대한 일관된 상관관계 기반 분석을 가능하게 하는 방법.
• 이론적 분석을 통해 학습기 간 평균 상관관계($ r_{LL}^{(ave)} $)와 목표와의 앙상블 상관관계($ r_{TL}^{(ave)} $)에 영향을 미치는 경계를 유도한다.
• 개별 학습기를 사전 훈련한 후 소수의 추가 에포크만을 사용하여 훈련 과정을 수행함으로써 효율적이고 실용적인 방법.
• 동종 및 이종 앙상블 모두에 일반화 가능한 방법이며, 동종 앙상블의 경우 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 신경망 앙상블에서 명시적 다양성 훈련이 데이터 샘플링이나 부스팅에 의해 발생하는 부수적 다양성에 의존하는 것보다 더 뛰어난 성능을 낼 수 있는가?
• RQ2 개별 학습기 정확도와 앙상블 다양성 간의 상호작용을 규명하는 데 어떤 이론적 경계가 존재하는가?
• RQ3 언제 앙상블이 정확도와 다양성 간 최적의 균형을 달성했는지 판단할 수 있는가?
• RQ4 명시적으로 다양성을 장려하면 이진 및 다중 레이블 분류 작업 모두에서 성능 향상이 이루어지는가?
• RQ5 최신 기술의 개별 모델이 다양성 최적화 앙상블에 통합됨으로써 추가로 향상될 수 있는가?

주요 결과

• 제안된 방법은 기준 데이터셋에서 최신 기술의 개별 신경망보다 2–6× 낮은 분류 오류율을 달성한다.
• 훈련 목표를 통해 다양성을 명시적으로 장려함으로써, 표준 앙상블 훈련 방법보다 뚜렷한 성능 향상을 이룬다.
• 공분산과 상관관계 관계에서 도출된 이론적 경계는 앙상블 구성 조건을 평가하고 최적화하는 원칙적인 방법을 제공한다.
• 사전 훈련된 개별 학습기 이후 소수의 추가 훈련 에포크만으로도 충분하므로 계산적으로 효율적이다.
• 이론적 경계가 동종 앙상블에 국한된다고 해도, 학습기 간 평균 상관관계($ r_{LL}^{(ave)} $)와 앙상블 정확도 사이에 강력하고 일반적인 관계가 있음을 실험적으로 확인하였다.
• 수치 실험을 통해 정확도와 다양성 간의 상호작용이 미묘하며, 명시적 훈련을 통해 최적화될 수 있음을 확인하였고, 이는 더 뛰어난 일반화 성능로 이어진다.