[논문 리뷰] Bayesian Hypernetworks

David Krueger, Chin-Wei Huang외 4명|arXiv (Cornell University)|2017. 10. 13.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 16

한 줄 요약

이 논문은 깊이 있는 신경망 가중치에 대한 복잡하고 상관관계가 있으며 다중모달인 근사 사후분포를 생성하는 데 역전이 가능한 하이퍼넷워크를 사용하는 변분 추론 프레임워크인 베이지안 하이퍼넷워크(BHNs)를 소개한다. 정규화 흐름을 통해 정확한 엔트로피 추정과 효율적인 샘플링을 가능하게 함으로써, BHNs는 불확실성 캘리브레이션, 적대적 공격에 대한 강건성, 이상치 탐지에서 표준 방법인 드롭아웃보다 뛰어난 성능을 보인다.

ABSTRACT

We study Bayesian hypernetworks: a framework for approximate Bayesian inference in neural networks. A Bayesian hypernetwork $\h$ is a neural network which learns to transform a simple noise distribution, $p(\vecε) = \N(\vec 0,\mat I)$, to a distribution $q(\pp) := q(h(\vecε))$ over the parameters $\pp$ of another neural network (the "primary network")\@. We train $q$ with variational inference, using an invertible $\h$ to enable efficient estimation of the variational lower bound on the posterior $p(\pp | \D)$ via sampling. In contrast to most methods for Bayesian deep learning, Bayesian hypernets can represent a complex multimodal approximate posterior with correlations between parameters, while enabling cheap iid sampling of~$q(\pp)$. In practice, Bayesian hypernets can provide a better defense against adversarial examples than dropout, and also exhibit competitive performance on a suite of tasks which evaluate model uncertainty, including regularization, active learning, and anomaly detection.

연구 동기 및 목표

• 베이지안 딥러닝에서 일반적으로 불확실성을 과소평가하고 복잡한 가중치 상관관계를 포착하지 못하는 단일모달성 및 인자화된 변분 사후분포의 한계를 해결한다.
• 모델 파라미터에 대한 풍부하고 상관관계가 있는 사후분포를 지원하는, 확장성 있고 효율적인 딥뉴럴넷에 대한 근사 베이지안 추론 방법을 개발한다.
• 활동 학습, 이상치 탐지, 적대적 예제 방어와 같은 안전이 중요한 애플리케이션의 모델 불확실성 추정을 향상시킨다.
• 베이지안 하이퍼넷워크가 MC 드롭아웃과 같은 표준 방법보다 불확실성 정량화 및 분포 이탈 및 적대적 공격에 대한 강건성에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 간단한 노이즈 사전분포 $ \mathcal{N}(\mathbf{0}, \mathbf{I}) $ 에서 시작하여, 복잡하고 민감한 사후분포 $ q(\boldsymbol{\theta}) = q(h(\boldsymbol{\epsilon})) $ 를 생성하기 위해 역전이 가능한 하이퍼넷워크 $ h $ 를 사용한다.
• 정규화 흐름(특히 RealNVP 및 IAF와 같은 역전이 가능한 커플링 레이어)을 활용하여 하이퍼넷워크가 역전이 가능하고 미분 가능하도록 하여, 변분 하한에서 로그우도 및 엔트로피 항의 정확한 계산을 보장한다.
• 샘플링 중 측도 변화를 보정하기 위해 하이퍼넷워크 $ h $ 의 로그행렬행렬식을 사용하여, 확률적 변분 추론을 통해 하이퍼넷워크를 훈련한다.
• 샘플링을 위해 $ \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) $ 에서 노이즈를 샘플링하고 이를 $ h $ 를 통과시켜 $ q(\boldsymbol{\theta}) $ 에서 효율적이고 독립적이고 동일하게 분포된(iid) 샘플링을 가능하게 하여, MCMC나 기각 샘플링과 같은 비효율적인 방법을 피한다.
• 기존의 하이퍼넷워크 기반 방법이 베이지안 딥러닝에서 겪었던 제약을 극복하기 위해, 대규모 주 네트워크에 적합한 파라미터 효율성과 확장성을 고려한 하이퍼넷워크 아키텍처를 설계한다.
• 다양한 $ \boldsymbol{\theta} $ 샘플을 $ q(\boldsymbol{\theta}) $ 에서 추출하여 주 네트워크를 여러 번 순전파하는 몬테카를로 추정을 통해 예측 불확실성을 추정하며, 불확실성 인식 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 역전이 가능한 하이퍼넷워크를 사용하여 깊이 있는 신경망 가중치에 대한 복잡하고 다중모달적이며 상관관계가 있는 근사 사후분포를 효율적인 샘플링과 훈련이 가능한 방식으로 파arameter화할 수 있는가?
• RQ2 역전이 가능한 하이퍼넷워크의 사용이, 가우스분포나 드롭아웃과 같은 표준 변분 근사보다 더 정확하고 캘리브레이션된 불확실성 추정을 가능하게 하는가?
• RQ3 베이지안 하이퍼넷워크는 외부 분포이거나 변형된 입력에서 지식 불확실성(에피스테믹 불확실성)을 증가시켜 적대적 예제에 대한 강건성을 향상시킬 수 있는가?
• RQ4 활동 학습 및 이상치 탐지 작업에서 베이지안 하이퍼넷워크의 성능은 MC 드롭아웃 및 기타 베이지안 기준 모델과 비교해 어떻게 되는가?
• RQ5 제안된 방법은 과도한 계산 비용 없이 실제 딥러닝 작업에 효과적으로 스케일업 가능한가?

주요 결과

• 역전이 가능한 하이퍼넷워크(예: IAF 및 RealNVP)를 사용한 베이지안 하이퍼넷워크는 MC 드롭아웃 및 표준 변분 추론보다 불확실성 캘리브레이션에서 뚜렷한 향상을 보이며, 특히 적대적 예제 탐지에서 유의미한 성능 향상을 보였다.
• MNIST 및 CIFAR-10 데이터셋에서 IAF 하이퍼넷워크를 사용한 BHNs는 MC 드롭아웃 및 RealNVP 기반 BHNs를 모두 능가했으며, 스텝 사이즈 0.01인 FGSM 공격에서 AUC 점수가 0.98 이상을 기록했다.
• 이상치 탐지에서 BHNs는 비베이지안 모델과 MC 드롭아웃을 크게 능가했으며, 변동비율 할당 함수를 사용할 경우 MNIST에서 AUC-ROC 점수 98.97, CIFARbw에서 98.52를 기록했다.
• BHNs에서 도출된 BALD 및 평균 표준편차 불확실성 점수는 적대적 편향이 증가할수록 강력한 상승 추세를 보였으며, 이는 신뢰할 수 있는 지식 불확실성 추정을 가능하게 했고, 반면 드롭아웃은 이러한 행동을 포착하지 못했다.
• BHNs는 활동 학습 및 정규화 작업에서 경쟁적인 성능을 보였으며, 복잡하고 다중모달적인 사후분포를 모델링할 수 있는 능력 덕분에 불확실성 인식 예측이 향상되었다.
• 기존의 계산 비용에 대한 우려를 극복하고 대규모 네트워크에 효과적으로 스케일업되었으며, MCMC나 기각 샘플링 없이도 복잡한 사후분포에서 효율적인 iid 샘플링을 가능하게 했다.