[논문 리뷰] Generalized Negative Correlation Learning for Deep Ensembling

Sebastian Buschjäger, Lukas Pfahler외 1명|arXiv (Cornell University)|2020. 11. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 8

한 줄 요약

이 논문은 일반화된 음성 상관 학습(GNCL)을 제안하며, 이는 임의의 이차 미분 가능한 손실 함수로 일반화된 편향-분산 분해를 가능하게 하는 딥 에ン셈블링의 새로운 프레임워크이다. GNCL은 독립 학습과 종단 간 학습 사이를 부드럽게 보간할 수 있게 하여, 소형 네트워크에서는 공동 학습(높은 다양성)이 성능을 향상시키는 반면, 대형 네트워크에서는 독립 학습(낮은 다양성)이 다양성에 의해 강제로 증가하는 편향을 줄여 성능이 뛰어나다는 것을 드러낸다.

ABSTRACT

Ensemble algorithms offer state of the art performance in many machine learning applications. A common explanation for their excellent performance is due to the bias-variance decomposition of the mean squared error which shows that the algorithm's error can be decomposed into its bias and variance. Both quantities are often opposed to each other and ensembles offer an effective way to manage them as they reduce the variance through a diverse set of base learners while keeping the bias low at the same time. Even though there have been numerous works on decomposing other loss functions, the exact mathematical connection is rarely exploited explicitly for ensembling, but merely used as a guiding principle. In this paper, we formulate a generalized bias-variance decomposition for arbitrary twice differentiable loss functions and study it in the context of Deep Learning. We use this decomposition to derive a Generalized Negative Correlation Learning (GNCL) algorithm which offers explicit control over the ensemble's diversity and smoothly interpolates between the two extremes of independent training and the joint training of the ensemble. We show how GNCL encapsulates many previous works and discuss under which circumstances training of an ensemble of Neural Networks might fail and what ensembling method should be favored depending on the choice of the individual networks. We make our code publicly available under https://github.com/sbuschjaeger/gncl

연구 동기 및 목표

• 임의의 이차 미분 가능한 손실 함수에 대해 일반화된 편향-분산 분해를 정식화하여 평균 제곱 오차를 넘어서는 것.
• 독립 학습과 종단 간 학습 사이를 부드럽게 보간할 수 있는 통합 프레임워크인 GNCL을 개발하는 것.
• 에너블링이 실패하는 조건과 기저 학습기 용량에 따라 다양성 학습 또는 독립 학습 중 어떤 방법이 유리한지 조사하는 것.
• 다양한 네트워크 용량에서 최첨단 에너블링 기법들과의 비교를 통해 GNCL의 우수성을 경험적으로 검증하는 것.

제안 방법

• 손실 함수의 헤시안과 전문가 출력의 공분산을 명시적으로 연결함으로써, 에너블의 다양성과 손실 함수의 헤시안 간의 관계를 규명하는 일반화된 편향-분산 분해를 유도한다.
• 하나의 초매개변수 λ를 통해 다양성을 제어하는 정규화 기법으로서 GNCL을 제안하며, 이는 독립 학습(λ=0)과 종단 간 학습(λ=1) 사이를 보간한다.
• 손실 함수의 헤시안을 사용해 음성 상관 페널티의 가중치를 설정함으로써, 특정 손실 함수에 적응하는 다양성 제어를 가능하게 한다.
• 각 에너블 구성원이 공유된 손실과 출력 공분산에 대한 페널티를 갖는 공유 가중치, 다중 헤드 아키텍처에서 GNCL을 적용한다.
• 개별 모델 손실과 λ 및 헤시안에 의존하는 다양성 촉진 항을 포함하는 통합 학습 목표를 사용한다.
• 소형, 중형, 대형 용량의 신경망에서 성능을 평가하여 다양성이 편향과 분산에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 편향-분산 분해는 평균 제곱 오차를 넘어서 임의의 이차 미분 가능한 손실 함수로 일반화될 수 있는가?
• RQ2 딥 에너블에서 다양성을 강제로 적용하는 것이 성능에 악영향을 미치는 상황은 언제인가?
• RQ3 기저 학습기의 용량이 에너블의 최적 다양성 수준에 어떤 영향을 미치는가?
• RQ4 GNCL과 같은 단일 통합 프레임워크는 백킹, 부스팅, 종단 간 학습과 같은 기존의 에너블링 기법들을 일반화할 수 있는가?
• RQ5 딥 신경망 에너블에서 다양성과 개별 모델 성능 사이의 최적 트레이드오프는 무엇인가?

주요 결과

• 소형 용량의 이진화 신경망에서는 고도의 다양성(λ=1.0)을 갖는 종단 간 학습이 독립 학습과 SMCL을 모두 능가하는 최고의 테스트 정확도를 달성했다.
• SMCL은 GNCL(λ=0.8)와 유사한 다양성 수준을 보였지만, 정확도가 약 5% 낮게 나타나, 다양성 자체만으로는 충분하지 않으며 적절한 최적화가 필수적임을 시사했다.
• 중형 용량 모델에서는 GNCL(λ=0.8–0.9)가 최고 성능을 기록하여, 기저 모델이 더 표현력이 뛰어날 경우 중간 수준의 다양성이 최적임을 보여주었다.
• 대형 용량 모델에서는 λ가 0.7를 초과할수록 성능이 악화되었으며, 기저 모델이 이미 낮은 편향을 지닌 상태에서 높은 다양성이 성능에 악영향을 미침을 시사했다.
• 종단 간 학습은 모든 설정에서 가장 낮은 훈련 손실을 기록했지만, 특히 대형 모델에서는 항상 최고의 테스트 정확도를 달성하지 못했다.
• 결과는 최적의 에너블링 전략이 기저 모델의 용량에 따라 달라지며, 공동 학습은 소형 모델에 유리하고, 독립 학습은 대형 모델에 유리하다는 것을 확인시켰다.