[논문 리뷰] Deep Ensembles on a Fixed Memory Budget: One Wide Network or Several Thinner Ones?

Nadezhda Chirkova, Ekaterina Lobacheva외 1명|arXiv (Cornell University)|2020. 05. 14.

Advanced Neural Network Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 고정된 메모리 예산 하에서 단일 넓은 신경망이 아닌 얇은 신경망의 앙상블을 사용할 경우 성능이 향상되는지 조사한다. 메모리를 중간 폭의 네트워크 앙상블으로 분할할 경우(메모리 분할 이점, MSA)가 단일 넓은 신경망과 매우 얇은 신경망의 대규모 앙상블보다 일관되게 뛰어나며, WideResNet-28-10 설정을 사용할 때 CIFAR-100에서 정확도 향상 최대 1.92%를 기록한다.

ABSTRACT

One of the generally accepted views of modern deep learning is that increasing the number of parameters usually leads to better quality. The two easiest ways to increase the number of parameters is to increase the size of the network, e.g. width, or to train a deep ensemble; both approaches improve the performance in practice. In this work, we consider a fixed memory budget setting, and investigate, what is more effective: to train a single wide network, or to perform a memory split -- to train an ensemble of several thinner networks, with the same total number of parameters? We find that, for large enough budgets, the number of networks in the ensemble, corresponding to the optimal memory split, is usually larger than one. Interestingly, this effect holds for the commonly used sizes of the standard architectures. For example, one WideResNet-28-10 achieves significantly worse test accuracy on CIFAR-100 than an ensemble of sixteen thinner WideResNets: 80.6% and 82.52% correspondingly. We call the described effect the Memory Split Advantage and show that it holds for a variety of datasets and model architectures.

연구 동기 및 목표

• 고정된 메모리 예산이 단일 넓은 신경망에 사용되는 것이还 얇은 신경망의 앙상블에 사용되는 것보다 더 나은 성능을 내는지 조사하기 위해.
• 성능을 최대화하기 위해 모델 폭과 앙상블 크기 사이의 최적의 메모리 분할을 결정하기 위해.
• 메모리 분할 이점(MSA)이 다양한 데이터셋, 아키텍처 및 하이퍼파라미터 설정에서 유지되는지 평가하기 위해.
• MSA가 분류 정확도와 불확실성 추정 품질에 미치는 영향을 평가하기 위해.

제안 방법

• 저자는 다양한 데이터셋과 아키텍처에서 총 파라미터 수가 동일한 단일 넓은 신경망과 얇은 신경망의 앙상블을 비교한다.
• VGG, WideResNet, Transformer 모델을 사용하여 CIFAR-10, CIFAR-100, IWSLT’14에서 실험을 수행한다.
• 공정한 비교를 위해 하이퍼파라미터는 베이지안 최적화와 격자 탐색을 통해 튜닝한다.
• 성능 평가에는 테스트 정확도와 불확실성 추정을 위한 校정된 음의 로그우도(NLL)를 사용한다.
• 총 파라미터 수를 유지하면서 네트워크 수(N)와 폭(S)를 조절하여 메모리 분할을 체계적으로 변화시킨다.
• MSA 효과는 테스트 정확도를 최대화하고 NLL를 최소화하는 앙상블 구성(N, S)을 식별함으로써 정량화한다.

실험 결과

연구 질문

• RQ1 총 파라미터 수가 동일할 때, 중간 폭의 네트워크 앙상블이 단일 넓은 신경망보다 성능이 뛰어나나?
• RQ2 고정된 메모리 예산 하에서 성능을 최대화하기 위해 앙상블 내 네트워크 수에 최적의 수가 존재하는가?
• RQ3 메모리 분할 이점(MSA)이 다양한 데이터셋과 모델 아키텍처에서 유지되는가?
• RQ4 보정된 NLL로 측정한 불확실성 추정 품질 측면에서 MSA 효과는 어떻게 비교되는가?
• RQ5 하이퍼파라미터 튜닝 전략(베이지안 최적화 대비 격자 탐색)이 관찰된 MSA 효과에 영향을 미치는가?

주요 결과

• 16개의 얇은 WideResNet(각각 80.6% 정확도) 앙상블이 단일 WideResNet-28-10(82.52% 정확도)보다 뛰어나며, CIFAR-100에서 1.92%의 정확도 향상을 기록한다.
• 메모리 분할 이점(MSA)은 대규모 아키텍처에만 국한되지 않고 소규모 아키텍처 설정에서도 유지되어 광범위한 적용 가능성을 보여준다.
• 동일한 총 파라미터 수에서, 중간 폭의 네트워크 앙상블은 단일 넓은 신경망보다 보다 낮은 보정된 테스트 NLL를 기록하여 더 나은 불확실성 추정을 보여준다.
• 최적의 성능을 위한 앙상블 크기(N)는 일반적으로 1보다 크며, 총 메모리 예산이 증가함에 따라 증가한다.
• 베이지안 최적화를 통한 하이퍼파라미터 튜닝은 격자 탐색 대비 단일 모델에서 더 높은 테스트 정확도를 얻지만, MSA 효과는 두 튜닝 방법 모두에서 일관되게 유지된다.
• MSA 효과는 CIFAR-10, CIFAR-100 등의 여러 데이터셋과 VGG, WideResNet, Transformer 등의 아키텍처에서 뚜렷하게 나타나 일반화 가능성과 강건성을 확인한다.