[논문 리뷰] Make (Nearly) Every Neural Network Better: Generating Neural Network Ensembles by Weight Parameter Resampling

Jiayi Liu, Samarth Tripathi외 2명|arXiv (Cornell University)|2018. 07. 02.

Advanced Neural Network Applications참고 문헌 11인용 수 3

한 줄 요약

이 논문은 사전 훈련된 딥 네ural 네트워크의 가중치 파라미터를 그들의 불확실성 분포에 기반해 재표본화하는 보편적이고 효율적인 방법을 제안한다. 이는 짧은 피닝튜닝 단계 동안 불확실성 분포를 추정함으로써 구현되며, Inception-V3 및 MobileNet과 같은 다양한 모델에서 일관된 성능 향상을 이룬다. 최종 훈련 단계의 가중치를 평균내거나 재표본화함으로써 재훈련이 필요 없이 최소한의 계산 부담으로 성능 향상을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) have become increasingly popular in computer vision, natural language processing, and other areas. However, training and fine-tuning a deep learning model is computationally intensive and time-consuming. We propose a new method to improve the performance of nearly every model including pre-trained models. The proposed method uses an ensemble approach where the networks in the ensemble are constructed by reassigning model parameter values based on the probabilistic distribution of these parameters, calculated towards the end of the training process. For pre-trained models, this approach results in an additional training step (usually less than one epoch). We perform a variety of analysis using the MNIST dataset and validate the approach with a number of DNN models using pre-trained models on the ImageNet dataset.

연구 동기 및 목표

• 재훈련 없이 사전 훈련된 딥 네ural 네트워크의 성능을 향상시키는 빠르고 보편적인 방법을 개발하기.
• 확률적 경사 하강법(SGD) 업데이트의 불확실성이 모델 일반화를 향상시키는 데 어떻게 활용될 수 있는지 조사하기.
• 특히 저자료 또는 고계산 비용이 수반되는 환경에서 다양한 아키텍처와 최적화 전략에 대해 이 방법의 강인성을 평가하기.
• 앙상블 방법의 계산 부담을 줄이면서도 예측 성능을 유지하거나 향상시키기.
• 모든 DNN 모델, 특히 ImageNet과 같은 대규모 데이터셋으로 사전 훈련된 모델에도 적용 가능한 실용적이고 즉시 사용 가능한 기법을 제공하기.

제안 방법

• 초기 훈련 이후 짧은 피닝튜닝 단계 동안 온라인 웰포드 알고리즘을 사용해 모델 파라미터의 평균과 분산을 추정한다.
• 추정된 평균을 중심으로 하고 추정된 표준편차를 사용해 가우시안 분포에서 가중치를 재표본화한다.
• 재표본화를 통해 다수의 모델을 구성하고 예측값을 평균내어 앙상블을 형성함으로써 강인성과 정확도를 향상시킨다.
• 또한 모든 가중치를 추정된 평균 값으로 대체함으로써 추론 비용 증가 없이 단일 개선 모델을 효과적으로 생성할 수 있다.
• 최소한의 피닝튜닝 단계(종종 1 에포크 이내)를 사용해 파라미터 불확실성을 캡처함으로써 계산 효율성을 확보한다.
• 사전 훈련된 모델과 동시에 초기부터 훈련된 모델에 모두 적용하여 이론적 적용 범위와 최적화기 종류에 관계없이 보편성을 검증한다.

실험 결과

연구 질문

• RQ1 짧은 피닝튜닝 단계 동안 캡처된 파라미터 불확실성을 활용해 더 나은 성능을 내는 신경망 앙상블을 생성할 수 있는가?
• RQ2 제안된 재표본화 방법은 정확도와 효율성 측면에서 표준 피닝튜닝 및 기존의 앙상블 기법(예: Stochastic Weight Averaging, SWA)과 비교해 어떻게 다를까?
• RQ3 학습률, 최적화기 선택(SGD 대비 Adam 등) 및 모델 아키텍처의 변화에 대해 이 방법은 어느 정도 강인한가?
• RQ4 ImageNet과 같은 대규모 데이터셋에 적용했을 때, 이 방법이 표준 모델과 경량 모델(MobileNet 등) 모두에서 성능 향상을 이끌어낼 수 있는가?
• RQ5 파라미터 불확실성을 신뢰성 있게 추정하고 일관된 성능 향상을 달성하기 위해 필요한 최소한의 피닝튜닝 기간은 얼마인가?

주요 결과

• 여러 구성에서 MNIST 데이터셋에서의 정확도가 일관되게 향상되었으며, 평균 재표본화 모델이 베이스라인 및 피닝튜닝 모델을 모두 초월했다.
• ImageNet에서 제안된 방법은 Inception-V3와 MobileNet 모두에 대해 상위-1 정확도를 향상시켰으며, Adam 최적화기로도 피닝튜닝을 수행했을 때도 성능 향상이 관찰되었다.
• 재표본화된 앙상블의 성능는 광범위한 학습률 범위에서 강인하여 하이퍼파ram터 선택에 민감하지 않았다.
• 단일 평균 재표본화 모델만으로도 3개 모델 앙상블 수준의 성능를 달성했으며, 이는 평균이 파라미터 분포의 강력한 대표자임을 시사한다.
• 단지 10,000회 업데이트(10%의 ImageNet 데이터에 해당)로도 파라미터 불확실성을 안정적으로 추정하고 일관된 성능 향상을 달성했다.
• 성능 향상을 달성하기 위해 1 에포크 이내의 피닝튜닝만으로도 충분했으며, 실질적인 실무 적용에 매우 효율적이고 실용적이다.