[논문 리뷰] Radial and Directional Posteriors for Bayesian Neural Networks

ChangYong Oh, Kamil Adamczewski외 1명|arXiv (Cornell University)|2019. 02. 07.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 8

한 줄 요약

이 논문은 원형 및 방향성 사후 분포(RDP)를 사용하여 베이지안 신경망을 위한 새로운 변분 추론 프레임워크를 제안한다. 가중치 분포를 크기(원형)와 방향(방향성) 성분으로 분해함으로써, 바르마이스-파이어 분포를 통해 의존성을 모델링하고, 하프-카이 확률과 로그정규 사후 분포를 통해 구조적 프루닝을 가능하게 하여 테스트 로그우도를 향상시키고, 더 적은 파라미터와 FLOPs로 최신 기술 수준의 압축 성능을 달성한다.

ABSTRACT

We propose a new variational family for Bayesian neural networks. We decompose the variational posterior into two components, where the radial component captures the strength of each neuron in terms of its magnitude; while the directional component captures the statistical dependencies among the weight parameters. The dependencies learned via the directional density provide better modeling performance compared to the widely-used Gaussian mean-field-type variational family. In addition, the strength of input and output neurons learned via the radial density provides a structured way to compress neural networks. Indeed, experiments show that our variational family improves predictive performance and yields compressed networks simultaneously.

연구 동기 및 목표

• 의미-필드 변분 추론의 한계를 해결하기 위해, 가중치 파라미터 간의 통계적 의존성을 忽시하는 문제를 해결한다.
• 가중치 간 상관관계를 방향성 성분을 통해 포착하는 변분 가족을 개발하여 예측 정확도를 향상시킨다.
• 낮은 영향도를 가진 뉴런을 식별할 수 있도록 원형 사후 분포를 활용하여 구조적 신경망 프루닝을 가능하게 한다.
• 딥러닝 프레임워크에서 고차원 바르마이스-파이어 분포의 수치적 안정성 있는 학습을 제공한다.
• 가중치 크기와 방향의 공동 모델링을 통해 예측 성능 향상과 모델 효율성 향상을 동시에 달성한다.

제안 방법

• 각 레이어의 가중치 벡터에 대해 변분 사후를 원형(크기) 및 방향성(각도) 성분으로 분해한다.
• 가중치 파라미터 간의 방향성 의존성을 모델링하기 위해 바르마이스-파이어(vMF) 분포를 사용하여 고차원 가중치 공간에서의 상관관계를 포착한다.
• 고차원 vMF 분포에서 안정적인 기울기 추정을 위해 수정 베셀 함수 비율에 대한 새로운 근사법을 제안한다.
• 원형 성분에 대해 하프-카이 우선사전과 로그정규 사후분포를 사용하여 희박성 유도 및 폐쇄형 KL 발산 계산 가능성을 확보한다.
• vMF 분포에 대한 재파rameterization 트릭을 적용하여 확률적 최적화 중 미분 가능한 샘플링을 가능하게 한다.
• 원형 사후의 최빈값을 프루닝 임계치로 사용하여 영향력이 낮은 뉴런을 제거함으로써 구조적 압축을 실현한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망에서 가중치 파라미터 간의 방향성 의존성을 모델링하면 의미-필드 근사보다 예측 성능이 향상되는가?
• RQ2 사후 분포의 원형 성분이 정확도를 유지하면서도 구조적 신경망 프루닝에 효과적으로 활용될 수 있는가?
• RQ3 딥러닝 환경에서 고차원 바르마이스-파이어 분포에 대해 효율적이고 안정적인 변분 추론이 가능한가?
• RQ4 테스트 로그우도 및 모델 압축 효율성 측면에서 제안된 RDP 방법은 기존 방법보다 어떻게 비교되는가?
• RQ5 원형 및 방향성 사후 분포의 조합이 불확실성 모델링과 모델 압축을 동시에 위한 통합 프레임워크를 제공할 수 있는가?

주요 결과

• 회귀 과제에서 RDP는 Variational Inference 및 Dropout과 같은 의미-필드 BNN보다 9개 데이터셋 중 5개에서 테스트 로그우도 측면에서 뛰어난 성능을 보였다.
• LeNet-5에서 RDP는 압축 성능이 경쟁력 있으며, FLOPs를 125K로 줄이고 파라미터를 20K로 줄였지만 테스트 오차는 1.0%를 유지했다.
• BC-GHS 및 BC-GNJ보다 더 뛰어난 FLOP 효율성을 달성했으며, 파라미터 20K, FLOPs 125K로 FDOO(100K)보다 FLOP 효율성이 뛰어나다.
• 원형 사후 분포는 반복 모드의 반복값에서 명확히 분리된 클러스터를 보이며, 정확도 손실 최소화로 효과적인 프루닝이 가능하다.
• 제안된 베셀 함수 근사는 고차원 vMF 분포에서 안정적인 학습을 가능하게 하여 수천 차원까지의 확장성 지원을 가능하게 했다.
• 방향성 성분은 의미 있는 가중치 상관관계를 포착하여 의미-필드 기반 모델을 뛰어넘는 향상된 예측 성능에 기여했다.