[논문 리뷰] Implicit Weight Uncertainty in Neural Networks

Nick Pawlowski, Brock, Andrew외 3명|arXiv (Cornell University)|2017. 11. 03.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 65

한 줄 요약

Bayes by Hypernet (BbH)는 하이퍼네트워크를 암시적 분포로 사용하여 신경망의 가중치 불확실성을 모델링하고, 강력한 불확실성 추정 및 적대적 공격에 대한 견고성을 갖춘 경쟁력 있는 정확도를 달성하며 MNIST와 CIFAR5에서 확장 가능한 현대 아키텍처를 달성합니다.

ABSTRACT

Modern neural networks tend to be overconfident on unseen, noisy or incorrectly labelled data and do not produce meaningful uncertainty measures. Bayesian deep learning aims to address this shortcoming with variational approximations (such as Bayes by Backprop or Multiplicative Normalising Flows). However, current approaches have limitations regarding flexibility and scalability. We introduce Bayes by Hypernet (BbH), a new method of variational approximation that interprets hypernetworks as implicit distributions. It naturally uses neural networks to model arbitrarily complex distributions and scales to modern deep learning architectures. In our experiments, we demonstrate that our method achieves competitive accuracies and predictive uncertainties on MNIST and a CIFAR5 task, while being the most robust against adversarial attacks.

연구 동기 및 목표

• 신경망의 신뢰할 수 있는 불확실성 추정이 실제 의사결정에 필요하다는 점을 동기부여합니다.
• 암시적 분포로 가중치 불확실성을 모델링하기 위해 Bayes by Hypernet (BbH)를 제안합니다.
• 하이퍼네트워크를 활용하여 가중치 샘플을 생성하는 확장 가능한 변분 베이지안 추론을 가능하게 합니다.
• MNIST와 CIFAR5에서 BbH를 베이지안 및 자주적 방법론의 기준선과 비교 평가합니다.
• BbH의 후사분포를 분석하여 대안들과의 복잡성 차이를 비교합니다.

제안 방법

• 가중치 w를 θ 매개변수를 가진 하이퍼네트워크 G가 생성한 샘플로 보정합니다: w = G(z | θ) 이때 z ~ p(z)입니다.
• 암시적 분포를 다루고 밀도 비율 추정기(커널 기반 KL 근사)를 통해 ELBO를 근사하는 적대적 유사 학습을 사용합니다.
• KL 추정을 위해 가중치에 표준 정규 사전분포를 두고 가중치를 독립적으로 취급합니다(d=1).
• 다층 퍼셉트론의 가중치를 생성하기 위해 3층 하이퍼네트워크를 학습시키고 아키텍처를 비교합니다(레이어당 하나의 G, 레이어별 G_l, 혹은 슬라이스별 G_l).
• 예측에 대해 100개의 포스트리올 샘플을 사용하여 MNIST 및 CIFAR5에서 BbH를 MC-Dropout, BbB, 딥 앙상블, MNF, MAP와 비교합니다.
• 적대적 공격에 대한 견고성을 조사하고 엔트로피 AUC 지표를 통해 예측 불확실성을 정량화합니다.

실험 결과

연구 질문

• RQ1 BbH가 기존의 베이지안 및 자주적 접근법과 비교하여 경쟁력 있는 예측 정확도를 제공하는가?
• RQ2 BbH가 데이터 안에서의 데이터세트 내/외의 의미 있고 강건한 예측 불확실성을 생성할 수 있는가?
• RQ3 BbH가 ResNet과 같은 현대 아키텍처로 확장되면서 불확실성 추정과 강건성을 유지하는가?
• RQ4 BbH의 포스트리오 가중치 분포의 정성적 특징이 다른 변분 방법들과 어떻게 비교되는가?
• RQ5 하이퍼네트워크 아키텍처의 선택 및 보조 입력 z가 성능과 불확실성에 어떤 영향을 미치는가?

주요 결과

• BbH는 많은 기준선보다 더 높은 예측 불확실성을 가진 경쟁력 있는 정확도를 달성하며 especially 적대적 공격에 대한 강건성이 높습니다.
• MNIST에서 BbH는 여러 방법에 비해 더 높은 MNIST AUC 및 이상치 AUC를 보이며, 오류율 및 런타임도 경쟁적입니다.
• CIFAR5에서 BbH는 일부 베이지안 기준선보다 낮은 런타임으로 경쟁력 있는 오류율과 예측 불확실성을 달성합니다.
• BbH는 MNF보다 더 복잡하고 멀티모달한 포스트리오 가중치 분포를 생성하여 가중치 간 상관관계를 포착합니다.
• BbH는 ResNet-32와 같은 더 깊은 아키텍처로의 확장성을 보이며 경쟁력 있는 정확도와 불확실성, 강한 적대적 강건성을 보여줍니다.
• 암시적 가중치에 대한 커널 기반 KL 추정은 유도적 BbB에 근접한 결과를 제공하면서도 확장성을 가능하게 합니다.