[논문 리뷰] Diversity and Generalization in Neural Network Ensembles

Luis Ángel Ortega Cuesta, Rafael Cabañas외 1명|arXiv (Cornell University)|2021. 10. 26.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 4

한 줄 요약

이 논문은 신경망 앙상블에서 다양성과 일반화 간의 이론적으로 탄탄한 프레임워크를 제안하며, 다양한 손실 함수(squared, cross-entropy, 0-1)와 조합 전략(model averaging, weighted majority vote)에서 다양성이 앙상블 오차를 어떻게 줄이는지 보여준다. 새로운 다양성 측정법을 도입하고 일반화 오차에 미치는 영향을 유도하며, 경험적으로 더 높은 다양성이 더 나은 앙상블 성능과 상관관계가 있음을 검증한다. 특히 랜덤 초기화나 P2B-Ensemble와 같은 방법을 통해 다양성을 증진할 경우 두드러진 성능 향상을 보인다.

ABSTRACT

Ensembles are widely used in machine learning and, usually, provide state-of-the-art performance in many prediction tasks. From the very beginning, the diversity of an ensemble has been identified as a key factor for the superior performance of these models. But the exact role that diversity plays in ensemble models is poorly understood, specially in the context of neural networks. In this work, we combine and expand previously published results in a theoretically sound framework that describes the relationship between diversity and ensemble performance for a wide range of ensemble methods. More precisely, we provide sound answers to the following questions: how to measure diversity, how diversity relates to the generalization error of an ensemble, and how diversity is promoted by neural network ensemble algorithms. This analysis covers three widely used loss functions, namely, the squared loss, the cross-entropy loss, and the 0-1 loss; and two widely used model combination strategies, namely, model averaging and weighted majority vote. We empirically validate this theoretical analysis with neural network ensembles.

연구 동기 및 목표

• 신경망 앙상블에서 다양성과 일반화 오차 간의 이론적으로 탄탄한 관계를 확립하기.
• 다양한 앙상블 방법과 손실 함수에 적용 가능한 일반적이고 손실에 영향을 받지 않는 다양성 측정법을 정의하기.
• 기존 신경망 앙상블 알고리즘들이 다양성을 어떻게 증진하고 앙상블 성능에 영향을 주는지 분석하기.
• 다양한 아키텍처와 데이터셋을 사용해 이론적 프레임워크를 경험적으로 검증하기.
• 다양성과 개별 정확도를 바탕으로 앙상블이 개별 모델보다 우월한 조건을 명확히 하기.

제안 방법

• 개별 모델의 예측 간 상관관계를 바탕으로 새로운 다양성 측정법 D(ρ)를 유도한다.
• PAC-Bayesian 경계를 사용해 앙상블 일반화 오차를 개별 오차와 다양성 구성요소로 분해한다.
• 세 가지 손실 함수에 적용: 제곱 오차, 교차 엔트로피, 0-1 손실.
• 두 가지 모델 조합 전략 분석: 모델 평균화와 가중 다수결정법.
• LeNet5, ResNet20, MLP50을 사용해 CIFAR-10, CIFAR-100, WineQuality 데이터셋에서 프레임워크를 경험적으로 평가한다.
• 앙상블 크기 변화와 Ensemble 및 P2B-Ensemble와 같은 알고리즘을 활용해 다양성 스케일링과 성능을 연구한다.

실험 결과

연구 질문

• RQ1 신경망 앙상블의 다양성을 일반화 오차와 연결된 방식으로 공식적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 다양성이 다양한 손실 함수에서 앙상블의 일반화 오차에 어떻게 영향을 미치는가?
• RQ3 개별 모델 성능, 다양성, 앙상블 일반화 오차 간의 상호 상충 관계는 무엇인가?
• RQ4 일반적인 신경망 앙상블 알고리즘(예: 랜덤 초기화, P2B-Ensemble)은 다양성을 어떻게 증진하는가?
• RQ5 앙상블이 최고의 단일 모델을 초월하는 조건은 무엇이며, 다양성을 통해 이를 어떻게 예측할 수 있는가?

주요 결과

• D(ρ)로 측정한 높은 다양성을 가진 앙상블은 개별 모델과 앙상블 간 성능 격차가 항상 크며, 오차 상쇄 효과를 확인한다.
• LeNet5와 MLP50와 같은 단순한 네트워크에서 랜덤 초기화는 높은 다양성을 생성하지 못해, 특히 제곱 오차에서 앙상블 성능 향상이 제한된다.
• ResNet20와 같은 깊은 네트워크에서는 앙상블 크기를 늘릴수록 점차 다양성이 증가하며, 이로 인해 일반화 성능이 향상된다.
• P2B-Ensemble 방법은 앙상블 크기가 증가함에 따라 지속적으로 다양성을 증가시키며, 낮은 다양성 영역에서는 표준 앙상블 학습보다 뛰어난 성능을 보인다.
• 보조정리 5는 앙상블 우월성에 대한 실용적 조건을 제공한다: 다양성 항목이 개별 오차를 초월할 경우, 앙상블은 최고의 단일 모델을 능가한다.
• 경험적 결과로, 교차 엔트로피와 0-1 손실에서 표준 방법으로 학습한 모든 앙상블은 보조정리 5의 조건을 충족하며, 최고의 단일 모델보다 더 잘 일반화된다.