[논문 리뷰] Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty

Hao Zhou, Yunyang Xiong외 1명|arXiv (Cornell University)|2018. 06. 10.

Anomaly Detection Techniques and Applications참고 문헌 12인용 수 3

한 줄 요약

이 논문은 블록 기반 프레임워크를 도입하여 베이지안 신경망(BNNs)을 구성함으로써 해석 가능성과 불확실성 추정을 향상시키는 방법을 제시한다. 이는 모델을 덧셈형 또는 계층형 구성요소로 구조화함으로써 이루어지며, 계산 스켈레톤과 이중 스토하스틱 변분 추론을 활용하여 효율적인 사후 근사가 가능하게 한다. 특수하게 설계된 베이지안 덧셈 신경망(AddNN)은 기준 데이터셋에서 상호작용을 포착하는 데 있어 뛰어난 성능과 희소성(스parser)을 보여주었다.

ABSTRACT

We provide simple schemes to build Bayesian Neural Networks (BNNs), block by block, inspired by a recent idea of computation skeletons. We show how by adjusting the types of blocks that are used within the computation skeleton, we can identify interesting relationships with Deep Gaussian Processes (DGPs), deep kernel learning (DKL), random features type approximation and other topics. We give strategies to approximate the posterior via doubly stochastic variational inference for such models which yield uncertainty estimates. We give a detailed theoretical analysis and point out extensions that may be of independent interest. As a special case, we instantiate our procedure to define a Bayesian {\em additive} Neural network -- a promising strategy to identify statistical interactions and has direct benefits for obtaining interpretable models.

연구 동기 및 목표

• 구성요소를 조합하여 모듈러하고 해석 가능한 베이지안 신경망(BNNs)을 구축하기 위한 프레임워크 개발
• 이중 스토하스틱 변분 추론을 활용하여 BNNs에서 효율적인 사후 근사가 가능하게 하여 미니배치 학습과 확장성 지원
• BNNs, 딥 가우시안 프로세스(DGPs), 딥 커널 학습, 무작위 특징 간의 이론적 및 실용적 연관성 설정
• 더불어 구조를 명시적으로 모델링하여 고차원 데이터에서 희소하고 해석 가능한 상호작용을 효과적으로 학습하는 베이지안 덧셈 신경망(AddNN) 설계
• 기준 데이터셋에서의 성능 평가를 통해 경쟁적인 예측 성능 및 불확실성 정량화 성능 입증

제안 방법

• 프레임워크는 재사용 가능한 블록으로 BNNs를 구성할 수 있도록 계산 스켈레톤 추상화를 사용하여 모듈러한 모델 구조 설계 지원
• 각 블록은 확률적 구성요소(예: 하위 네트워크)에 대응하며, 가중치에 사전분포를 설정하여 베이지안 추론 가능
• 이중 스토하스틱 변분 추론을 적용하여 사후 근사를 수행함으로써 미니배치 학습과 역전파가 가능
• AddNN 변종은 최종 출력을 작은 독립적 하위 네트워크들의 합으로 구성하여 덧셈형 구조와 희소성 촉진
• 각 하위 네트워크의 첫 번째 레이어에 그룹 라소 정규화를 적용하여 희소하고 해석 가능한 입력 특징 선택 유도
• 사후 샘플링을 통한 불확실성 추정 지원 및 의미 있는 특징 상호작용 탐지에 활용 가능한 경험적 $β$-노름 상호작용 측정치 제공

실험 결과

연구 질문

• RQ1 블록 기반 BNN 구축 방식이 불확실성 정량화를 유지하면서도 더 나은 해석 가능성 제공가능한가?
• RQ2 다양한 블록 유형이 딥 가우시안 프로세스(DGPs) 및 딥 커널 학습과 같은 기존 모델과 어떻게 관련되는가?
• RQ3 베이지안 덧셈 신경망 구조가 고차원 데이터에서 희소하고 해석 가능한 상호작용을 효과적으로 학습할 수 있는가?
• RQ4 제안된 이중 스토하스틱 변분 추론 기반 방법이 모델 정확도를 유지하면서 대규모 데이터셋에 효율적으로 스케일링 가능한가?
• RQ5 모델에서 유도된 상호작용 측정치는 어떻게 의미 있는 특징 의존성 탐지에 기여하는가?

주요 결과

• 베이지안 덧셈 신경망(AddNN)은 기준 회귀 과제에서 최첨단 또는 경쟁력 있는 성능 기록: 보스턴에서 RMSE 3.03±0.12, Kin8nm에서 0.06±0.00, Power에서 3.68±0.03
• AddNN은 Energy(0.65±0.03 vs. 1.66±0.04) 및 Protein(4.07±0.01 vs. 4.36±0.01) 데이터셋에서 MC 드롭아웃 및 PBP를 능가함
• 입력-하위네트워크 가중치 행렬의 시각화를 통해 모델이 희소한 덧셈형 구조를 학습함을 확인 가능: 선택적이고 비균일한 특징 활성화 관찰
• 계산 측면에서 AddNN은 $k^{*}d^{2L-1}$의 복잡도를 가지며, 동일한 깊이와 너비를 가진 표준 DNN에 비해 ${k^{*}}^{2(L-1)}$배 적은 계산량 필요
• $\mathbb{E}^n$을 상호작용 측정치의 기준으로 사용함으로써 $\delta(\mathbf{x}^0)$보다 더 나은 경험적 비교 및 특징 상호작용 탐지 가능
• 이 프레임워크는 이론적 기반을 바탕으로 BNNs, DGPs, 딥 커널 학습, 무작위 특징을 동일한 블록 기반 구조로 통합 성공