[논문 리뷰] Bayesian Learning of Neural Network Architectures

Georgi Dikov, Patrick van der Smagt외 1명|arXiv (Cornell University)|2019. 01. 14.

Machine Learning and Algorithms참고 문헌 20인용 수 11

한 줄 요약

이 논문은 콘크리트 분포와 변분 추론을 사용하여 층 크기와 네트워크 깊이를 학습 가능한 난수 변수로 간주하는 베이지안 신경망 프레임워크를 제안한다. 이는 최소한의 계산 부담으로 엔드 투 엔드 미분 가능한 아키텍처 탐색을 가능하게 하며, 소규모 데이터셋에서 일반화 성능을 향상시키고 초기화에 대한 강건성을 높인다. 이 방법은 제한된 데이터로 CIFAR-10에서 고정 아키텍처보다 최대 4% 향상된 성능을 기록한다.

ABSTRACT

In this paper we propose a Bayesian method for estimating architectural parameters of neural networks, namely layer size and network depth. We do this by learning concrete distributions over these parameters. Our results show that regular networks with a learnt structure can generalise better on small datasets, while fully stochastic networks can be more robust to parameter initialisation. The proposed method relies on standard neural variational learning and, unlike randomised architecture search, does not require a retraining of the model, thus keeping the computational overhead at minimum.

연구 동기 및 목표

• 신경망 아키텍처에 대한 전통적인 초모수 탐색의 비효율성, 즉 반복적인 재학습이 필요하다는 점을 해결하기 위해.
• 층 크기와 깊이와 같은 아키텍처 초모수를 베이지안 프레임워크 내에서 난수 변수로 엔드 투 엔드 학습 가능하게 하기 위해.
• 각 아키텍처 변경 후 재학습이 필요 없기 때문에, 랜덤 서치나 강화학습 기반 NAS보다 계산 비용을 줄이기 위해.
• 구조적 아키텍처 사전과 사후 추론을 통해 일반화 성능 향상과 강건성을 높이기 위해.
• 층 크기와 깊이에 대한 사후 분포를 통해 아키텍처 결정의 해석 가능성을 제공하기 위해.

제안 방법

• 층 크기와 네트워크 깊이를 매개변수화된 콘크리트(Gumbel-Softmax) 분포를 사용해 난수 변수로 모델링하여, 미분 가능한 샘플링을 가능하게 한다.
• 효율성을 위해 인과적 변분 사후 분포를 사용하여 아키텍처 매개변수에 대한 사후 분포를 근사하기 위해 변분 추론을 적용한다.
• 이산 범주 분포의 연속적 리파라미터라이제이션을 사용하여, 기울기 기반 학습이 가능한 연속적 근사 방법을 통해 아키텍처 매개변수를 백프로파게이션을 통해 최적화한다.
• 표준 베이지안 신경망과 통합되어, 가우시안 변분 사후 분포를 통해 가중치의 불확실성을 유지한다.
• 전문 지식을 반영하기 위해 아키텍처 매개변수에 사전 분포를 도입하며, 예를 들어 더 작은 필터 수나 더 깊은 네트워크를 선호하는 등의 지식을 포함한다.
• 학습 및 추론 중에 아키텍처의 연속체에서 샘플링이 가능해지며, 이는 앙상블 기반 정규화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 층 크기와 깊이와 같은 아키텍처 초모수가, 미분 가능한 추론을 사용한 베이지안 프레임워크 내에서 효과적으로 학습될 수 있는가?
• RQ2 아키텍처 매개변수의 엔드 투 엔드 학습이 고정 아키텍처 대비 소규모 데이터셋에서 일반화 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 표준 신경망에 비해 가중치 초기화에 대한 강건성을 얼마나 향상시키는가?
• RQ4 아키텍처 매개변수에 대한 사후 분포가 아키텍처의 잘못된 설정 또는 최적 구성 상태를 드러낼 수 있는가?
• RQ5 랜덤 서치나 강화학습 기반 NAS와 비교했을 때, 이 방법은 효율성과 성능 면에서 어떻게 다른가?

주요 결과

• 1,000개의 훈련 샘플만을 사용하는 CIFAR-10 데이터셋에서, 적응형 아키텍처 방법은 고정 네트워크 대비 테스트 정확도를 3.97%p 향상시켰다 (34.98%에서 38.95%로).
• 적응형 크기 네트워크는 축소된 MNIST 세트에서 95.67%의 정확도를 기록했으며, 고정 베이스라인보다 1.20%p 높았다.
• 적응형 깊이 모델은 축소된 데이터에서 Fashion-MNIST의 테스트 정확도를 80.32%에서 80.83%로 향상시켜, 초기화와 데이터 부족에 대한 강건성을 입증했다.
• 층 크기와 깊이에 대한 사후 분포는 아키텍처 용량에 대한 이해 가능한 통찰을 제공했으며, 과적합 또는 과소적합 경향성을 드러냈다.
• 재학습 없이도 높은 성능 향상을 달성했으며, 미분 가능한 아키텍처 탐색 덕분에 낮은 계산 부담을 유지했다.
• 샘플된 아키텍처의 예측을 앙상블하는 방식이 효과적인 정규화로 작용하여 과적합을 줄이고 일반화 성능을 향상시켰다.