[논문 리뷰] Masked Bayesian Neural Networks : Theoretical Guarantee and its Posterior Inference

Insung Kong, Dong‐Yoon Yang외 4명|arXiv (Cornell University)|2023. 05. 24.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 모델의 부드러움에 대한 사전 지식 없이도 근사 최소최대 최적의 사후 집중률을 달성하면서 동시에 희소 아키텍처를 적응적으로 선택하는 마스킹 베이지안 신경망(mBNN)을 제안한다. 효율적인 베이지안 추론을 가능하게 하는 새로운 MCMC 알고리즘을 도입하여, 벤치마크 데이터셋에서 일반화 및 불확실성 정량화 측면에서 기존 방법들을 능가한다.

ABSTRACT

Bayesian approaches for learning deep neural networks (BNN) have been received much attention and successfully applied to various applications. Particularly, BNNs have the merit of having better generalization ability as well as better uncertainty quantification. For the success of BNN, search an appropriate architecture of the neural networks is an important task, and various algorithms to find good sparse neural networks have been proposed. In this paper, we propose a new node-sparse BNN model which has good theoretical properties and is computationally feasible. We prove that the posterior concentration rate to the true model is near minimax optimal and adaptive to the smoothness of the true model. In particular the adaptiveness is the first of its kind for node-sparse BNNs. In addition, we develop a novel MCMC algorithm which makes the Bayesian inference of the node-sparse BNN model feasible in practice.

연구 동기 및 목표

• 더 나은 일반화 및 불확실성 정량화를 위한 이론적 성질이 강력한 노드 희소 베이지안 신경망(BNN) 모델을 개발하기 위해.
• 진정한 모델의 부드러움에 적응하는 근사 최소최대 최적의 사후 집중률을 확립하여, 노드 희소 BNN에 있어 처음으로 이뤄지는 일이다.
• 노드 희소 BNN에 특화된 계산적으로 실현 가능한 MCMC 추론 알고리즘을 설계하여 기존 변분 추론 및 MCMC 방법의 한계를 극복하기 위해.
• mBNN이 예측 불확실성과 성능을 유지하면서 딥 신경망을 압축하는 데 얼마나 효과적인지 입증하기 위해.

제안 방법

• 노드 수준에서 희소성을 유도하기 위해 스파이크-슬랩 유사한 구조를 가진 노드 희소 사전을 사용하는 마스킹 BNN(mBNN) 모델을 제안한다.
• 사후 샘플링 중에 희소 네트워크 아키텍처를 효율적으로 탐색하기 위해 국소 정보가 반영된 제안 분포를 갖는 새로운 메트로폴리스-헤스팅스(Metropolis-Hastings) MCMC 알고리즘을 활용한다.
• 각 은닉 유닛이 이진 마스크 변수와 연결된 마스킹 구조를 도입하여 전체 노드의 선택적 활성화 및 제거를 가능하게 한다.
• 전역 수축 매개변수 λ를 갖는 계층적 사전을 사용하여 희소성을 제어하고, 데이터 복잡성에 따라 자동으로 아키텍처 선택이 가능하게 한다.
• 수렴 보장과 상관관계 감소를 위해 버닝 인 단계와 희소화를 적용하여 사후 샘플을 생성하는 MCMC 알고리즘을 적용한다.
• 스토하스틱 그래디언트 하에서 정확성과 수렴성을 유지하기 위해 MHBT 스타일의 수정을 적용하여 미니배치 학습에 적합하게 MCMC 알고리즘을 변형한다.

실험 결과

연구 질문

• RQ1 노드 희소 BNN이 진정한 모델의 부드러움을 알지 못하는 상황에서도 근사 최소최대 최적의 사후 집중률을 달성할 수 있는가?
• RQ2 변분 근사에 의존하지 않고도 실용적인 베이지안 추론을 가능하게 하는 효율적인 MCMC 알고리즘을 설계할 수 있는가?
• RQ3 표준 BNN 및 변분 추론 방법과 비교해 mBNN의 불확실성 정량화 및 일반화 성능은 어떠한가?
• RQ4 mBNN은 예측 성능와 불확실성 추정을 유지하면서 얼마나 깊은 신경망을 압축할 수 있는가?

주요 결과

• mBNN는 진정한 모델의 부드러움에 적응하는 근사 최소최대 최적의 사후 집중률을 달성하여, 노드 희소 BNN에 있어 처음으로 이뤄진 일이다.
• UCI 데이터셋에서 λ=0.1을 사용한 mBNN는 95% 신뢰구간에서 93.3%의 커버리지, RMSE 2.902, NLL 2.472를 기록하여 NS-VI 및 표준 BNN보다 우수한 성능을 보였다.
• CIFAR-10에서 mBNN는 원래 모델의 FLOPs의 3.82%만을 사용하면서도 93.3%의 테스트 정확도를 달성하여 효과적인 압축과 높은 효율성을 입증했다.
• mBNN는 다양한 λ 값에서도 안정적인 성능을 유지하며, λ에 비례하는 희소성 수준을 보이며, 회귀 및 분류 과제 모두에서 강건성을 보였다.
• MHBT 호환성을 갖는 제안된 MCMC 알고리즘은 미니배치에서 정확한 추론을 가능하게 하여 수렴성과 사후 품질을 유지한다.
• 예를 들어 보스턴 데이터셋에서 활성화된 노드 수를 1000개에서 12개로 크게 감소시켰지만 예측 성능나 불확실성 캘리브레이션을 손상시키지 않았다.