[논문 리뷰] Efficient Diversity-Driven Ensemble for Deep Neural Networks

Wentao Zhang, Jiawei Jiang외 2명|arXiv (Cornell University)|2021. 12. 26.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 사전 훈련된 모델에서 일반적인 지식을 선택적으로 전이하고 다양성 기반 손실 함수로 최적화하여 훈련을 가속화하고 딥 네ural 네트워크 앙상블의 다양성을 향상시키는 새로운 방법인 효율적 다각도 기반 앙상블(EDDE)을 제안한다. EDDE는 컴퓨터 비전(CIFAR-100, ImageNet) 및 자연어 처리(GLUE 벤치마크) 작업에서 기존 방법보다 훈련 비용을 낮추면서도 최신 기술 수준의 앙상블 정확도를 달성한다.

ABSTRACT

The ensemble of deep neural networks has been shown, both theoretically and empirically, to improve generalization accuracy on the unseen test set. However, the high training cost hinders its efficiency since we need a sufficient number of base models and each one in the ensemble has to be separately trained. Lots of methods are proposed to tackle this problem, and most of them are based on the feature that a pre-trained network can transfer its knowledge to the next base model and then accelerate the training process. However, these methods suffer a severe problem that all of them transfer knowledge without selection and thus lead to low diversity. As the effect of ensemble learning is more pronounced if ensemble members are accurate and diverse, we propose a method named Efficient Diversity-Driven Ensemble (EDDE) to address both the diversity and the efficiency of an ensemble. To accelerate the training process, we propose a novel knowledge transfer method which can selectively transfer the previous generic knowledge. To enhance diversity, we first propose a new diversity measure, then use it to define a diversity-driven loss function for optimization. At last, we adopt a Boosting-based framework to combine the above operations, such a method can also further improve diversity. We evaluate EDDE on Computer Vision (CV) and Natural Language Processing (NLP) tasks. Compared with other well-known ensemble methods, EDDE can get highest ensemble accuracy with the lowest training cost, which means it is efficient in the ensemble of neural networks.

연구 동기 및 목표

• 비선택적 지식 전이로 인해 훈련 비용이 높고 다양성이 낮은 기존 앙상블 방법의 비효율성을 해결하기 위해.
• 제한된 훈련 예산 하에서 기저 모델의 정확도와 다양성을 동시에 최대화하여 앙상블 일반화 성능을 향상시키기 위해.
• 사전 훈련된 모델에서 일반적인 특징을 선택적으로 전이하여 수렴 속도를 가속화하면서도 다양성을 손상시키지 않는 지식 전이 기법을 개발하기 위해.
• 기본 모델 간의 음성 상관관계를 명시적으로 최적화하기 위한 새로운 다양성 측정 기준과 다양성 기반 손실 함수를 도입하기 위해.
• 추가로 다양성 향상을 위한 Boosting 기반 프레임워크를 통합하여 앙상블 성능을 더욱 향상시키기 위해.

제안 방법

• 기본 모델 간 소프트 레이블 예측의 음성 상관관계에 기반한 새로운 다양성 측정 기준을 제안한다.
• 표준 크로스 엔트로피 손실과 모델 출력의 음성 상관관계를 촉진하는 정규화 항을 조합한 다양성 기반 손실 함수를 도입한다.
• 사전 훈련된 모델의 하위층에서 유래한 일반적인 특징(저층 특징)만을 전이하는 선택적 지식 전이 전략을 설계한다.
• 각 기본 모델를 지식 전이와 다양성 최적화를 함께 수행하면서 순차적으로 훈련하는 Boosting 기반 훈련 프레임워크를 활용한다.
• 손실 함수에서 정확도와 다양성 간의 트레이드오프를 조정하기 위해 하이퍼파rameter γ를 사용하여 제어 가능한 최적화를 가능하게 한다.
• 평가를 위해 컴퓨터 비전(CIFAR-100, ImageNet) 및 자연어 처리(GLUE 벤치마크) 작업에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 선택적 지식 전이가 딥 네ural 네트워크 앙상블에서 모델 다양성을 감소시키지 않고도 훈련 효율성을 향상시킬 수 있는가?
• RQ2 기본 모델 간 음성 상관관계를 촉진하는 다양성 기반 손실 함수가 더 높은 앙상블 정확도를 이끌어낼 수 있는가?
• RQ3 선택적 지식 전이와 다양성 최적화와 함께 통합된 Boosting 기반 프레임워크가 추가로 다양성과 성능을 향상시킬 수 있는가?
• RQ4 하이퍼파rameter γ로 제어되는 정확도와 다양성 간의 트레이드오프가 최종 앙상블 성능에 어떤 영향을 미치는가?
• RQ5 동일한 예산 하에서 EDDE는 기존 앙상블 방법보다 정확도와 훈련 비용 양면에서 모두 우월한가?

주요 결과

• EDDE는 200 에포크 훈련 예산 하에서 ResNet-32를 사용하여 CIFAR-100에서 74.38%의 최고 앙상블 정확도를 달성하여 모든 베이스라인을 압도한다.
• 최적의 하이퍼파rameter γ = 0.1이 다양성과 정확도 사이의 최적 균형을 이끌어내 최고의 앙상블 성능을 제공한다.
• γ = 0(기본 손실)인 EDDE는 73.86%의 정확도를 기록하며, 다양성 기반 손실이 표준 훈련보다 성능 향상을 이룬다는 것을 확인한다.
• 전체 지식 전이(EDDE (transfer all))를 적용한 EDDE는 73.37%의 정확도를 기록하지만 다양성은 낮은 편(0.1631)이 되어 전이 전략에서의 트레이드오프가 존재함을 시사한다.
• 지식 전이를 전혀 하지 않은 EDDE (transfer none)는 가장 높은 다양성(0.1854)을 기록하지만 정확도는 가장 낮은 70.78%를 기록하여 제한된 예산 하에서 지식 전이가 수렴을 위해 필수적임을 보여준다.
• EDDE는 전이 학습을 통한 AdaBoost.NC보다 높은 정확도(72.64%)를 기록하며 다양성과 정확도의 우수한 균형을 확보하고 있음을 입증한다.