[논문 리뷰] The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning

Jiaming Zeng, Adam Lesnikowski외 1명|arXiv (Cornell University)|2018. 11. 29.

Machine Learning and Algorithms참고 문헌 9인용 수 24

한 줄 요약

이 논문은 딥 액티브 러닝에서 모델 불확실성을 포착하기 위해 완전히 베이지안 신경망이 반드시 필요한지 조사한다. MNIST에서 컨볼루션 네트워크의 베이지안 레이어 수와 위치를 다양하게 조절함으로써, 출력에 가까운 곳에 단 하나 또는 두 개의 베이지안 레이어를 배치하면, 완전히 베이지안 네트워크와 유사한 불확실성 추정 성능을 달성할 수 있으며, 同시에 결정론적 네트워크의 속도와 정확도를 유지할 수 있음을 발견한다.

ABSTRACT

One of the main challenges of deep learning tools is their inability to capture model uncertainty. While Bayesian deep learning can be used to tackle the problem, Bayesian neural networks often require more time and computational power to train than deterministic networks. Our work explores whether fully Bayesian networks are needed to successfully capture model uncertainty. We vary the number and position of Bayesian layers in a network and compare their performance on active learning with the MNIST dataset. We found that we can fully capture the model uncertainty by using only a few Bayesian layers near the output of the network, combining the advantages of deterministic and Bayesian networks.

연구 동기 및 목표

• 딥 액티브 러닝에서 효과적인 모델 불확실성 추정을 위해 완전히 베이지안 신경망이 필수적인지 여부를 규명하는 것.
• 베이지안 레이어의 위치와 수가 컨volution 신경망에서 불확실성 포착에 미치는 영향을 평가하는 것.
• 높은 불확실성 추정 품질을 유지하면서도 계산 비용이 낮은 완전히 베이지안 네트워크의 대안을 찾는 것.
• 다양한 레이어 구성의 베이지안 아키텍처를 결정론적 및 완전히 베이지안 기준과 비교하여 액티브 러닝에서 평가하는 것.
• 베이지안 레이어의 초기화 분산을 최적화하여 불확실성 정량화 및 모델 성능을 향상시키는 것.

제안 방법

• 가중치 불확실성을 모델링하기 위해 가우시안 근사 베이지안 추론을 사용한 베이지안 컨볼루션 신경망을 사용하였다.
• 예측 불확실성을 근사 사후분포에 대한 몬테카를로 샘플링(100개 샘플)을 통해 근사화하여 추정하였다.
• 베이지안 레이어에서 효율적이고 분산이 낮은 스위치 기반 역전파를 위해 Flipout 기울기 추정기를 적용하였다.
• 고정 학습률 0.001과 배치 크기 64를 사용하여 ADAM 옵timizer로 모델을 훈련시켰다.
• 완전히 베이지안(BNN), 부분적으로 베이지안(BNN-1, BNN-2 등), 결정론적(CNN) 구성 포함 총 여덟 가지 아키텍처에서 베이지안 레이어의 수와 위치를 체계적으로 변화시켰다.
• 베이지안 레이어의 변분 사후분포의 초기 분산을 최적화하여 불확실성 校정 및 성능 향상을 도모하였다.

실험 결과

연구 질문

• RQ1 딥 네트워크 내에서 베이지안 레이어의 위치가 액티브 러닝에서 불확실성 추정에 상당한 영향을 미치는가?
• RQ2 특히 출력 근처에 있는 소수의 베이지안 레이어가 완전히 베이지안 네트워크와 유사한 불확실성 추정 성능을 달성할 수 있는가?
• RQ3 베이지안 레이어의 초기 분산이 불확실성 정량화 및 모델 정확도에 어떤 영향을 미치는가?
• RQ4 완전히 베이지안 네트워크처럼 불확실성을 포착하면서도 결정론적 네트워크의 속도와 정확도를 유지할 수 있는가?
• RQ5 다양한 베이지안 레이어 구성이 있는 아키텍처에서 다양한 취득 함수(엔트로피, 변동 비율)의 성능은 어떻게 다른가?

주요 결과

• 최종 밀집층(Dense2)에만 하나 또는 두 개의 베이지안 레이어를 사용하는 것으로도 완전히 베이지안 네트워크(BNN)와 유사한 불확실성 추정 성능을 달성하였다.
• 베이지안 레이어가 Dense2에만 있는 BNN-1 아키텍처가 엔트로피 및 변동 비율 취득 함수에서 완전히 베이지안 BNN을 초월했으며, 각각 테스트 오차율이 2.63% 및 2.38%였다.
• BNN-1 구성은 최대 엔트로피 취득 함수에서 2.87%의 테스트 오차율을 기록하여, 완전히 베이지안 기준(BNN, 3.28%)과 결정론적 CNN(10.03%)을 모두 뛰어넘었다.
• 초기 분산이 성능에 상당한 영향을 미쳤다: 평균 -3인 높은 초기 분산이 낮은 분산보다 특히 변동 비율 취득 함수에서 더 나은 불확실성 포착을 이끌었다.
• Dense2 레이어는 불확실성 추정에서 가장 중요한 요소로 밝혀졌으며, 이 레이어의 베이지안 성격이 취득 함수 성능에 가장 큰 영향을 미쳤다.
• 최종 레이어에만 베이지안 레이어를 두는 부분적으로 베이지안 네트워크가 완전히 베이지안 네트워크와 유사하거나 이를 초월하는 불확실성 추정 품질을 달성하면서도 훈련 비용과 복잡도를 감소시켰다.