[논문 리뷰] Joint Training of Deep Ensembles Fails Due to Learner Collusion

Alan Jeffares, Tennison Liu외 2명|arXiv (Cornell University)|2023. 01. 26.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 딥 앙상블의 동시 훈련이 '학습자 협동' 현상으로 인해 실패함을 입증한다. 이 현상은 기저 모델들이 앙상블 손실를 최소화하기 위해 예측 공간에서 인위적인 다양성을 증가시켜 일반화 성능을 떨어뜨리는 방식으로 발생한다. 진정한 앙상블 목표를 최적화하고 있음에도 불구하고, 이 협동은 독립 훈련보다 더 큰 일반화 갭을 초래하며, 실질적으로는 독립 훈련이 더 효과적임을 보여준다.

ABSTRACT

Ensembles of machine learning models have been well established as a powerful method of improving performance over a single model. Traditionally, ensembling algorithms train their base learners independently or sequentially with the goal of optimizing their joint performance. In the case of deep ensembles of neural networks, we are provided with the opportunity to directly optimize the true objective: the joint performance of the ensemble as a whole. Surprisingly, however, directly minimizing the loss of the ensemble appears to rarely be applied in practice. Instead, most previous research trains individual models independently with ensembling performed post hoc. In this work, we show that this is for good reason - joint optimization of ensemble loss results in degenerate behavior. We approach this problem by decomposing the ensemble objective into the strength of the base learners and the diversity between them. We discover that joint optimization results in a phenomenon in which base learners collude to artificially inflate their apparent diversity. This pseudo-diversity fails to generalize beyond the training data, causing a larger generalization gap. We proceed to comprehensively demonstrate the practical implications of this effect on a range of standard machine learning tasks and architectures by smoothly interpolating between independent training and joint optimization.

연구 동기 및 목표

• 동시 최적화된 딥 앙상블 모델이 진정한 앙상블 목표를 최적화하고 있음에도 불구하고 독립 훈련보다 성능이 열 劣하는 이유를 조사하는 것.
• 특히 인위적 다양성의 역할을 고려할 때, 동시 훈련된 앙상블에서 일반화 성능이 열 劣하는 근본 원인을 규명하는 것.
• 앙상블 목표를 개별 모델 성능과 다양성 항으로 형식적으로 분해하여 열 劣 행동의 메커니즘을 드러내는 것.
• 표준 벤치마크와 아키텍처에서 학습자 협동의 존재와 영향을 실증적으로 검증하는 것.
• 학습자 드롭아웃과 같은 잠재적 해결책을 탐색하고, 이들이 문제를 완화하는 데에 한계가 있음을 보여주는 것.

제안 방법

• 저자는 이차 테일러 전개를 사용하여 동시 훈련과 독립 훈련 목표 간의 관계를 수식적으로 정의함으로써, 공동 앙상블 손실를 개별 모델 손실과 다양성 항으로 분해한다.
• 독립 훈련(β=0)과 완전한 동시 최적화(β=1) 사이를 부드럽게 보간할 수 있도록 스칼라 가중치 하이퍼파라미터 β를 도입하여 훈련 제도의 제어된 분석을 가능하게 한다.
• 다양성 항은 동시 훈련과 독립 훈련 목표 간의 차이로 정의되며, 상호 학습자 간의 불일치가 전체 손실에 기여하는 정도를 측정한다.
• 학습자 협동은 기저 모델들이 예측을 상반된 방향으로 이동시켜 앙상블 출력은 유지하면서도 가시적인 다양성을 증가시킴으로써 다양성 항을 악용하는 전략으로 진단된다.
• 실험은 ResNet-18, VGG 등의 다양한 아키텍처와 CIFAR-10, SVHN 등의 데이터셋에서 수행되었으며, 다양한 β 값에서 일반화 갭, 다양성 점수, 테스트 오차를 측정하였다.
• 드롭아웃 기반의 완화 전략이 평가되었으며, 각 배치에서 랜덤한 수의 모델을 제거하여 협동을 방해하는 방식이지만, 이는 부트스트랩 효과로 인해 성능이 악화됨을 입증하였다.

Figure 2 : Diversity explosion. Test set diversity explodes relative to MSE across four datasets. We note two further empirical phenomena: (1) the non-linear relationship between $\beta$ and diversity which we discuss further in Appendix D and (2) the minimal effect diversity has on the test MSE on

실험 결과

연구 질문

• RQ1 동시 훈련된 딥 앙상블이 진정한 앙상블 목표를 최적화하고 있음에도 불구하고 일반화 성능이 열 劣하는 이유는 무엇인가?
• RQ2 동시 훈련된 앙상블에서 독립 훈련된 것과 비교해 성능 저하가 발생하는 구체적인 메커니즘은 무엇인가?
• RQ3 기저 학습자 간의 인위적 협동을 통해 앙상블 목표의 다양성 항은 어느 정도 조작될 수 있는가?
• RQ4 독립 훈련과 동시 훈련 사이의 다양한 보간 수준에서 일반화 갭은 어떻게 변화하는가?
• RQ5 학습자 드롭아웃과 같은 정규화 기법이 학습자 협동의 부정적 영향을 효과적으로 완화할 수 있는가?

주요 결과

• 동시 훈련된 딥 앙상블은 진정한 앙상블 목표를 최적화하고 있음에도 불구하고 독립 훈련보다 더 큰 일반화 갭을 보인다.
• 학습자 협동은 핵심적인 실패 요인으로 드러나며, 실제 일반화 성능 향상 없이도 예측 공간에서 인위적인 다양성을 증가시키는 방식이다.
• 앙상블 손실의 다양성 항이 동시 훈련과 독립 훈련 간의 성능 격차를 주도하는 주요 원인으로 규명되었다.
• CIFAR-10과 SVHN에서의 실험 결과, β가 1에 가까워질수록 성능이 단조롭게 열 劣함을 보이며, 이는 완전한 동시 최적화에서 일반화 성능이 열 劣함을 시사한다.
• 학습자 드롭아웃은 협동 유발 다양성을 줄이지만, 동시에 부트스트랩 효과로 인해 개별 모델의 성능까지 약화시켜 성능 향상 효과를 상쇄한다.
• 이 현상은 ResNet-18, VGG 등 다양한 아키텍처와 데이터셋에서 일관되게 나타나며, 동시 앙상블 훈련의 근본적인 문제임을 시사한다.

Figure 3 : Bias removal. The percentage of diversity explained by the most simple form of learner collusion across each dataset. In the region where learner collusion appears to occur ( $\beta\to 1$ ), a large proportion of the diversity can be explained by simple additive bias in the predictions.