[논문 리뷰] Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|2015. 06. 06.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 614

한 줄 요약

이 논문은 계산 효율적인 베이지안 컨볼루션 신경망(CNN)을 제안하며, 베르누이 변분 추론을 사용해 CNN 커널에 확률 분포를 할당하여 소규모 데이터셋에서 과적합에 대한 불확실성 추정과 더 나은 내성성을 가능하게 한다. 드롭아웃 학습을 근사 베이지안 추론으로 재해석함으로써 추가 파rameter 없이 몬테카를로 드롭아웃 추론을 가능하게 하여 CIFAR-10에서 최신 기술 수준의 성능을 달성하며 일반화 능력 향상과 과적합 감소를 이룬다.

ABSTRACT

Convolutional neural networks (CNNs) work well on large datasets. But labelled data is hard to collect, and in some applications larger amounts of data are not available. The problem then is how to use CNNs with small data -- as CNNs overfit quickly. We present an efficient Bayesian CNN, offering better robustness to over-fitting on small data than traditional approaches. This is by placing a probability distribution over the CNN's kernels. We approximate our model's intractable posterior with Bernoulli variational distributions, requiring no additional model parameters. On the theoretical side, we cast dropout network training as approximate inference in Bayesian neural networks. This allows us to implement our model using existing tools in deep learning with no increase in time complexity, while highlighting a negative result in the field. We show a considerable improvement in classification accuracy compared to standard techniques and improve on published state-of-the-art results for CIFAR-10.

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 소규모 데이터셋에서 학습할 때 CNN에서 과적합 문제를 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 불확실성 추정과 더 나은 일반화를 제공하는 베이지안 CNN을 개발하기 위해.
• 드롭아웃을 컨볼루션 레이어에 적용할 때 성능 저하로 인해 실제로 자주 피하는 것과는 달리, 드롭아웃을 베이지안 신경망에서 근사 베이지안 추론으로 공식적으로 해석할 수 있는 이론적 근거를 제공하기 위해.
• 몬테카를로 드롭아웃이 베이지안 추론의 통계적으로 타당한 근사로 사용될 수 있으며, 특히 컨볼루션 레이어 뒤에 적용될 경우 테스트 정확도 향상에 기여할 수 있음을 보여주기 위해.

제안 방법

• CNN 커널 가중치의 사후 분포에 대한 변분 근사로 베르누이 분포를 사용하며, 추가 파rameter가 필요하지 않다.
• 표준 드롭아웃 학습을, 특히 베르누이 분포를 사용한 변분 추론을 적용한 베이지안 신경망에서의 근사 베이지안 추론으로 재해석한다.
• 드롭아웃을 활성화한 상태에서 네트워크를 여러 번 순방향 전파하여 테스트 시에 몬테카를로 드롭아웃 추론을 수행한다.
• 학습 중에 각 컨볼루션 레이어 뒤에 드롭아웃을 배치함으로써 표준 딥러닝 도구를 사용해 베이지안 CNN을 구현한다.
• 드롭아웃과 변분 추론 간의 관계를 유도하여, 드롭아웃이 커널 가중치에 대한 마진칼라이제이션을 근사함을 보여준다.
• 기존 딥러닝 프레임워크를 활용하여 학습 시간이나 계산 부담이 증가하지 않는 방식으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 왜 표준 드롭아웃은 컨볼루션 레이어 뒤에 적용했을 때 성능 향상에 실패하는가?
• RQ2 드롭아웃을 베이지안 신경망에서 근사 베이지안 추론으로 공식적으로 해석할 수 있는가?
• RQ3 몬테카를로 드롭아웃은 컨볼루션 레이어 뒤에 적용되었을 경우 베이지안 추론에 대해 통계적으로 타당한 근사로 작용할 수 있는가?
• RQ4 베르누이 변분 추론을 사용하는 베이지안 CNN은 표준 CNN보다 소규모 데이터셋에서 더 나은 일반화와 불확실성 추정을 달성할 수 있는가?
• RQ5 테스트 시 추론에서 안정적인 성능 향상을 위해 필요한 몬테카를로 샘플 수의 최적값은 얼마인가?

주요 결과

• 제안된 베이지안 CNN과 MC 드롭아웃은 확장된 CIFAR-10 데이터셋에서 테스트 오차 7.51을 달성하여 기존 기법보다 뚜렷한 향상을 보였다.
• MC 드롭아웃은 단 20회의 순방향 전파 후에 표준편차보다 더 큰 오차 감소를 보였으며, 100개의 샘플에서 수렴이 관찰되었다.
• NIN, DSN, 확장된-DSN 등 다양한 아키텍처에서 성능 향상을 보였으며, 특히 확장된-DSN 모델에서 가장 큰 성과를 기록했다.
• 이 방법은 컨볼루션 레이어에서 표준 드롭아웃의 실패 원인을 이론적으로 해결하는 수학적으로 타당한 해법을 제공하며, 분야 내에서 알려진 부정적 결과를 해결한다.
• 변분 사후 분포를 위한 추가 파rameter가 필요로 하지 않으며, 학습 시간은 표준 모델과 동일하며, 평균화로 인한 테스트 시간 비용 증가 외에는 거의 없었다.
• ImageNet에서는 성능 향상이 관찰되지 않았는데, 이는 대규모 데이터셋이 이미 충분한 정규화를 제공하기 때문이며, 이러한 데이터의 소규모 서브셋에는 유용할 수 있다.