[논문 리뷰] Do Bayesian Neural Networks Need To Be Fully Stochastic?

Mrinank Sharma, Sebastian Farquhar외 2명|arXiv (Cornell University)|2022. 11. 11.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 베이지안 신경망(BNNs)이 표현적 불확실성 측정을 달성하기 위해 모든 파라미터에 대해 완전한 확률적 성격이 필요하다는 기존의 가정을 도전한다. 이는 부분적으로 확률적인 네트워크—최소한 $ n $ 개의 확률적 편향을 포함한 네트워크—가 보편적인 확률적 예측기임을 증명하며, 네 가지 추론 방법과 여덟 개의 데이터셋을 통해 실제로 이러한 네트워크가 완전히 확률적인 BNNs와 동일하거나 더 뛰어난 예측 성능을 보이며 메모리 소비와 학습 비용을 줄임을 보여준다.

ABSTRACT

We investigate the benefit of treating all the parameters in a Bayesian neural network stochastically and find compelling theoretical and empirical evidence that this standard construction may be unnecessary. To this end, we prove that expressive predictive distributions require only small amounts of stochasticity. In particular, partially stochastic networks with only $n$ stochastic biases are universal probabilistic predictors for $n$-dimensional predictive problems. In empirical investigations, we find no systematic benefit of full stochasticity across four different inference modalities and eight datasets; partially stochastic networks can match and sometimes even outperform fully stochastic networks, despite their reduced memory costs.

연구 동기 및 목표

• 베이지안 신경망에서 완전한 확률성이 표현적이고 정확한 불확실성 측정을 위해 진정으로 필수적인가를 조사하는 것.
• 완전히 확률적인 BNNs가 부분적으로 확률적인 대안보다 더 원칙적이고 효과적이라는 일반적인 가정을 도전하는 것.
• 부분적으로 확률적인 네트워크가 다양한 추론 방법과 데이터셋에서 완전히 확률적인 BNNs와 비교해 유사하거나 더 나은 예측 성능을 달성할 수 있는가를 평가하는 것.
• 부분적으로 확률적인 BNNs를 완전한 확률성의 타당하고 효율적이며 동등하게 원칙적인 대안으로서 이론적이고 경험적 기반을 마련하는 것.

제안 방법

• 부분적으로 확률적인 네트워크가 오직 $ n $ 개의 확률적 편향만을 포함해도 보편적인 조건부 분포 근사기(UCDA)임을 증명하여, 어떤 연속적인 조건부 분포라도 임의로 잘 근사할 수 있음을 보임.
• 이론적 분석을 통해 유한한 너비와 유한한 분산을 갖는 완전히 확률적인 레이어가 입력 정보를 악화시킬 수 있음을 보이며, 이는 표현력에 악영향을 줌.
• 8개의 데이터셋에서 히브리지안 몬테카를로, SWAG, Flipout를 사용한 변분 추론, 평균장 변분 추론의 네 가지 추론 모드를 적용하여 예측 성능을 비교함.
• 선택된 레이어나 편향만 확률적이며, 나머지는 고정되거나 결정적으로 최적화된 부분적으로 확률적인 네트워크를 학습하고 평가함.
• 정확도, 음의 로그 우도(NLL), 기대 캘리브레이션 오차(ECE)를 평가 지표로 사용하여 다수의 랜덤 시드를 통해 정확도를 확보함.
• 예를 들어 첫 번째 레이어만, 마지막 레이어만, 버티브라인 레이어만 등 다양한 확률적 구성 요소를 체계적으로 변화시켜 성능이 뛰어난 부분적 확률적 설정을 식별함.

실험 결과

연구 질문

• RQ1 베이지안 신경망에서 완전한 확률성이 표현적인 예측 분포를 위해 필수적인가?
• RQ2 부분적으로 확률적인 BNNs가 조건부 분포의 보편적 근사가 가능한가?
• RQ3 완전한 확률성이 다양한 추론 방법과 데이터셋에서 예측 성능을 체계적으로 향상시키는가?
• RQ4 부분적으로 확률적인 네트워크가 NLL, 캘리브레이션 및 효율성 측면에서 완전히 확률적인 네트워크를 초월할 수 있는가?
• RQ5 성능을 극대화하면서 계산 비용을 최소화하는 데 최적의 확률적 파라미터 설정은 무엇인가?

주요 결과

• 오직 $ n $ 개의 확률적 편향만을 포함하는 부분적으로 확률적인 베이지안 신경망이 보편적인 조건부 분포 근사기임을 증명하여, 표현력을 위해 완전한 확률성이 반드시 필요하지 않음을 입증함.
• 경험적 평가에서 부분적으로 확률적인 네트워크가 네 가지 추론 모드와 여덟 개의 데이터셋에서 완전히 확률적인 네트워크와 동일하거나 뛰어난 성능을 보였으며, CIFAR-10 및 CIFAR-10-C 포함.
• 평균적으로 부분적으로 확률적인 네트워크는 완전히 확률적인 대안보다 더 낮은 음의 로그 우도(NLL)와 기대 캘리브레이션 오차(ECE)를 기록하여 더 나은 불확실성 캘리브레이션을 나타냄.
• 가장 뛰어난 부분적 확률적 구성은 추론 모드에 따라 달라졌으며, 이는 최적의 설계가 사용된 추론 방법에 따라 달라짐을 시사함.
• 메모리 소비가 감소하고 학습 속도가 빨라졌음(예: 첫 번째 레이어만 확률적일 경우 약 7배 빠름)에도 불구하고, 부분적으로 확률적인 네트워크는 예측 성능을 유지하거나 향상시킴.
• 최신 추론 기법인 히브리지안 몬테카를로와 SWAG조차도 완전한 확률성에서 체계적인 이점이 없었으며, 부분적으로 확률적인 변형이 종종 더 우수하거나 동등한 결과를 도출함.