[논문 리뷰] Why M Heads are Better than One: Training a Diverse Ensemble of Deep Networks

Stefan Lee, Senthil Purushwalkam외 3명|arXiv (Cornell University)|2015. 11. 19.

Domain Adaptation and Few-Shot Learning인용 수 203

한 줄 요약

이 논문은 공유된 초기 레이어와 전문화된 깊이 있는 레이어를 가진 TreeNets—모델 간의 공유된 초기 레이어와 특화된 깊이 있는 레이어를 갖춘 구조—를 도입하고, 다양성을 명시적으로 장려하는 앙상블 인식 손실을 제안함으로써 다양한 고성능 딥 네트워크 앙상블을 훈련하는 통합 프레임워크를 제안한다. 다중 선택 학습(MCL) 손실을 사용하고 TreeNets에서 파arameter 공유를 적용함으로써 앙상블 정확도가 크게 향상되며, ILSVRC-AlexNet에서 최대 74.67%의 오라클 정확도를 달성하여 기존의 표준 앙상블보다 뛰어난 성능을 보인다.

ABSTRACT

Convolutional Neural Networks have achieved state-of-the-art performance on a wide range of tasks. Most benchmarks are led by ensembles of these powerful learners, but ensembling is typically treated as a post-hoc procedure implemented by averaging independently trained models with model variation induced by bagging or random initialization. In this paper, we rigorously treat ensembling as a first-class problem to explicitly address the question: what are the best strategies to create an ensemble? We first compare a large number of ensembling strategies, and then propose and evaluate novel strategies, such as parameter sharing (through a new family of models we call TreeNets) as well as training under ensemble-aware and diversity-encouraging losses. We demonstrate that TreeNets can improve ensemble performance and that diverse ensembles can be trained end-to-end under a unified loss, achieving significantly higher "oracle" accuracies than classical ensembles.

연구 동기 및 목표

• 딥 네트워크 앙상블링을 후행 처리 절차가 아닌 핵심 문제로 다루는 것.
• 파라미터 공유, 앙상블 인식 손실, 다양성 장려 훈련 전략이 앙상블 성능에 미치는 영향을 조사하는 것.
• GPU 메모리 및 훈련 시간 제약을 초월하는 결합된 앙상블의 확장 가능한 분산 훈련 프레임워크를 개발하는 것.
• 다양한 데이터셋과 아키텍처에서 딥 네트워크 앙상블의 다양성이 얼마나 효과적인지 평가하는 것.
• 최적의 앙상블이 기존의 독립된 모델이 아니라 TreeNets와 같은 구조화되고 공유되는 아키텍처임을 보여주는 것.

제안 방법

• 앙성 구성원 간에 초기 레이어를 공유하고 파라미터 공유의 깊이를 제어할 수 있는 트리 구조를 가진 딥 네트워크인 TreeNets를 제안한다.
• 앙상블 평균의 손실을 최소화하는 앙상블 인식 손실을 도입하여 집단적 성능 향상을 장려한다.
• 각 앙상블 구성원를 서로 다른 예측 부분집합의 전문가로 간주함으로써 다양성을 명시적으로 장려하는 다중 선택 학습(MCL) 손실을 제안한다.
• MCL 손실 하에서 더 큰 네트워크가 특화될 수 있도록 배치 간 기울기 누적 기법을 사용한다.
• MPI를 사용한 GPU 간 통신을 지원하는 분산 딥 러닝 프레임워크인 MPI-Caffe를 설계 및 구현하여 결합된 앙상블의 모델 병렬 훈련을 가능하게 한다.
• 공유 또는 결합된 구성 요소를 가진 앙상블의 분산 훈련을 가능하게 하기 위해 Caffe에 통신 레이어(MPIBroadcast 및 MPIGather)를 적용한다.

실험 결과

연구 질문

• RQ1 초기 레이어에서의 파라미터 공유가 모델 파라미터 수를 줄이면서도 앙상블 성능을 향상시킬 수 있는가?
• RQ2 앙상블 평균을 최적화하는 앙상블 인식 손실을 사용할 경우 독립적 훈련 대비 일반화 성능이 향상되는가?
• RQ3 MCL과 같은 다양성 장려 손실이 딥 네트워크 앙상블의 오라클 정확도를 크게 향상시킬 수 있는가?
• RQ4 딥 앙상블 아키텍처에서 파라미터 공유와 모델 독립성 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 MPI-Caffe와 같은 분산 훈련 프레임워크가 대규모 결합 앙상블 훈련을 실용적이고 효율적으로 만들 수 있는가?

주요 결과

• 1~2개의 공유된 초기 레이어를 가진 TreeNets는 전통적인 독립 앙상블보다 높은 성능을 보이며, 중간 수준의 공유 수준에서 최적의 성능을 기록한다.
• 단일 네트워크에서 미세조정할 때 MCL 손실 하에서 오라클 정확도가 72.67%로 상승하며, 동일한 초기 앙상블의 경우 56.90%에 그친다.
• MCL 손실을 교차 엔트로피 손실과 조합할 경우 CIFAR10 앙상블 평균 정확도가 표준 앙상블 대비 1% 향상된다.
• MCL 손실로 훈련된 앙상블는 전통적 앙상블보다 유의미하게 높은 오라클 정확도를 기록하며, 명시적 다양성 유도의 가치를 입증한다.
• MPI-Caffe 프레임워크에서의 통신 오버헤드는 매우 낮으며, 큰 레이어인 pool2(36M float)의 경우에도 통신에 소요되는 시간은 전방-역전파 시간의 0.49%에 불과하다.
• 이 연구는 다양성이 고수준 표현에서 가장 효과적이며, 초기 레이어는 일반적인 특징 학습 특성 덕분에 가중치 공유에서 유의미한 이점을 얻는다는 것을 보여준다.