[논문 리뷰] The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks

Takuo Matsubara, Chris J. Oates외 1명|arXiv (Cornell University)|2020. 10. 16.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 6

한 줄 요약

이 논문은 베이지안 신경망(BNN)에서의 사전 분포 설정을 위한 새로운 공분산 함수 기반 접근법인 리지릿 사전분포를 소개한다. 이 방법을 통해 사용자는 네트워크 출력에 직접적으로 원하는 가우시안 프로세스(GP) 행동을 통합할 수 있다. 네트워크 가중치와 편향에 대한 사전분포를 구성함으로써 목표 GP 공분산을 근사함으로써, 이 방법은 비점근적 오차 한계를 확보하고 보편성을 확립한다. 이는 BNN이 충분히 연속적인 임의의 GP를 근사할 수 있도록 하며, 실험적 검증을 통해 비구조적 사전분포보다 향상된 성능을 보여준다.

ABSTRACT

Bayesian neural networks attempt to combine the strong predictive performance of neural networks with formal quantification of uncertainty associated with the predictive output in the Bayesian framework. However, it remains unclear how to endow the parameters of the network with a prior distribution that is meaningful when lifted into the output space of the network. A possible solution is proposed that enables the user to posit an appropriate Gaussian process covariance function for the task at hand. Our approach constructs a prior distribution for the parameters of the network, called a ridgelet prior, that approximates the posited Gaussian process in the output space of the network. In contrast to existing work on the connection between neural networks and Gaussian processes, our analysis is non-asymptotic, with finite sample-size error bounds provided. This establishes the universality property that a Bayesian neural network can approximate any Gaussian process whose covariance function is sufficiently regular. Our experimental assessment is limited to a proof-of-concept, where we demonstrate that the ridgelet prior can out-perform an unstructured prior on regression problems for which a suitable Gaussian process prior can be provided.

연구 동기 및 목표

• 베이지안 신경망(BNN)에서 매개변수에 대한 사용자 믿음이 직접적으로 표현하기 어려운 문제를 해결하기 위해.
• 목표로 하는 가우시안 프로세스(GP) 공분산 함수를 지정하여 도메인 특화 지식을 출력 행동에 통합할 수 있도록 하기 위해.
• 목표 GP의 출력 공간에서의 근사가 보장되도록 BNN 매개변수에 대한 사전분포를 개발하여 해석 가능성과 일반화 성능 향상을 도모하기 위해.
• BNN과 목표 GP 간의 근사 오차에 대해 이론적으로 탄탄한 비점근적 분석을 제공하기 위해.
• 사례 연구 실험을 통해, 적절한 GP 사전분포가 존재할 경우 리지릿 사전분포가 비구조적 사전분포를 능가할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 리지릿 변환을 사용하여 피드포워드 신경망의 가중치와 편향에 대한 사전분포를 구성함으로써, 네트워크 출력과 목표 GP 공분산 함수 간의 연결을 수립한다.
• BNN의 공분산 함수가 목표 GP 공분산 함수를 근사할 수 있도록 보장하는 사전분포 초모수(σ_w, σ_b)에 대한 명시적 공식을 유도한다.
• 리지릿 변환의 비점근적 분석을 활용하여 유한 샘플에서의 근사 오차를 제한함으로써 이론적 보편성을 확립한다.
• 사전분포는 가중치와 편향의 스케일링에 대해 불변성을 가지도록 설계되어 재매개변수화 하더라도 GP 근사가 유지된다.
• 학습 샘플 크기 N에 따라 (σ_w, σ_b)를 동적으로 조정하여 근사 품질과 출력 변동성 간의 균형을 확보한다.
• 가우시안, tanh, ReLU 등 다양한 활성화 함수를 지원하며, 수렴 속도는 활성화 함수의 연속성과 유계성에 따라 달라진다.

실험 결과

연구 질문

• RQ1 유한 샘플 오차 한계를 갖는 한, 사용자가 지정한 가우시안 프로세스(GP) 공분산 함수를 근사하는 베이지안 신경망을 구성할 수 있는가?
• RQ2 개별 매개변수의 수동 조정 없이도, 원하는 출력 행동에 대한 사전 지식을 BNN에 어떻게 통합할 수 있는가?
• RQ3 리지릿 변환과 유한 샘플 BNN에서 GP 공분산 함수 근사 간의 이론적 관계는 무엇인가?
• RQ4 활성화 함수의 선택은 BNN의 공분산이 목표 GP로 수렴하는 데 어떤 영향을 미치는가?
• RQ5 샘플 크기 N에 따라 가중치와 편향의 분산(σ_w, σ_b)을 동적으로 스케일링하면, BNN의 목표 GP에 대한 근사 품질이 향상되는가?

주요 결과

• 리지릿 사전분포를 통해 BNN은 비점근적 오차 한계를 갖는 충분히 연속적인 임의의 GP 공분산 함수를 근사할 수 있으며, 이는 보편성 성질을 확립한다.
• 작은 샘플 크기에서는 (σ_w, σ_b)를 증가시키면 근사 품질이 향상되지만, 너무 큰 값은 출력 분산을 증가시킨다.
• 샘플 크기 N이 증가함에 따라 (σ_w, σ_b)를 동적으로 조정하면 근사 정확도와 출력 안정성 간의 균형이 더 잘 유지된다.
• 부드럽고 유계인 활성화 함수(예: 가우시안, tanh)는 ReLU보다 BNN 공분산이 목표 GP로 수렴하는 데 더 빠른 속도를 보인다.
• 적절한 GP 사전분포가 존재하는 회귀 과제에서 이 방법은 비구조적 사전분포보다 예측 성능이 향상됨을 입증한다.
• 복잡한 GP 공분산 함수(예: 주기적)를 근사하는 것은 여전히 도전 과제이지만, 동적 (σ_w, σ_b) 전략이 이러한 모델에서 성능 향상을 이룬다.