[논문 리뷰] Expressive Priors in Bayesian Neural Networks: Kernel Combinations and Periodic Functions

Tim Pearce, Russell Tsuchida외 3명|arXiv (Cornell University)|2019. 05. 15.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 14

한 줄 요약

이 논문은 베이지안 신경망(BNN)에서 활성화 함수와 아키텍처 구성 요소를 조합하여 가우시안 프로세스(GP)의 커널 조합을 모방함으로써 표현력 있는 사전 분포를 설계하는 방법을 제안한다. 과도한 주기성 BNN과 tanh BNN을 곱함으로써 국소적 주기성 함수를 정밀하게 모델링할 수 있으며, 이는 표준 BNN에 비해 시계열 및 강화학습 과제에서 성능을 크게 향상시킨다.

ABSTRACT

A simple, flexible approach to creating expressive priors in Gaussian process (GP) models makes new kernels from a combination of basic kernels, e.g. summing a periodic and linear kernel can capture seasonal variation with a long term trend. Despite a well-studied link between GPs and Bayesian neural networks (BNNs), the BNN analogue of this has not yet been explored. This paper derives BNN architectures mirroring such kernel combinations. Furthermore, it shows how BNNs can produce periodic kernels, which are often useful in this context. These ideas provide a principled approach to designing BNNs that incorporate prior knowledge about a function. We showcase the practical value of these ideas with illustrative experiments in supervised and reinforcement learning settings.

연구 동기 및 목표

• 베이지안 신경망(BNN)에서 일반적으로 도메인 특화 지식을 통합하지 않는 기본 아키텍처에 의존하기 때문에 사전 분포 설계의 유연성이 부족한 문제를 해결하기 위해.
• 가우시안 프로세스(GP) 커널 설계와 BNN 아키텍처 설계 사이의 격차를 메우기 위해 커널 조합 아이디어를 BNN에 이식하기 위해.
• 사전 지식에 기반하여 복잡한 기능적 성질(예: 주기성, 추세)을 표현할 수 있는 원칙적인 방법을 개발하기 위해.
• 실제 학습 과제, 특히 지도 시계열 예측 및 강화학습에서 이러한 구조적 사전 분포의 실용적 이점을 입증하기 위해.

제안 방법

• 논문은 가우시안 프로세스에서 사용하는 기본 커널(예: 선형, 주기적, RBF)의 합 또는 곱과 유사한 BNN 아키텍처를 유도한다.
• 주기적 함수를 모델링하기 위해 코시/사인 입력 왜곡과 ReLU 네트워크를 조합한 새로운 BNN 구성 요소를 도입하여 GP의 주기적 커널을 모방한다.
• 핵심 혁신은 곱셈 아키텍처의 사용이다: 긴 길이 척도를 가진 별도의 tanh BNN과 주기적 BNN을 곱함으로써 국소적 주기성 행동을 모델링한다.
• 무한한 너비 BNN과 GP 사이의 이론적 동치성을 활용하여, 결과적으로 유도된 사전 함수가 원하는 커널 유도 성질을 충족함을 보장한다.
• 대규모 데이터셋에서의 학습을 가능하게 하기 위해 확장 가능한 베이지안 추론 기법인 베이지안 앙상블을 사용하여 검증한다.
• 아키텍처는 추론 방법과 독립적이므로 다양한 학습 프레임워크에 널리 적용 가능하다.

실험 결과

연구 질문

• RQ1 베이지안 신경망(BNN) 아키텍처를 가우시안 프로세스(GP)의 커널 조합이 표현하는 것과 동일한 표현력 있는 사전 함수를 가질 수 있도록 설계할 수 있는가?
• RQ2 순수하게 코시 활성화 함수를 사용하는 것 외에 주기적 함수를 BNN에서 효과적으로 모델링할 수 있는가?
• RQ3 주기성 및 추세 구성 요소와 같은 구조적 사전 분포를 통합하면 일반화 성능와 샘플 효율성이 향상되는가?
• RQ4 시계열 또는 제어 과제와 같이 알려진 기능적 성질이 있는 과제에서 이러한 구조적 BNN 사전 분포가 표준 BNN을 능가할 수 있는가?

주요 결과

• 퍼텐셜 제어 과제에서 Periodic × Tanh BNN 아키텍처는 표준 ReLU BNN과 기본 주기적 BNN보다 뚜렷이 뛰어난 성능을 보였으며, 더 빠른 학습 속도와 더 높은 최종 누적 보상 수준을 달성했다.
• Q-값 시각화 결과에서 Periodic × Tanh 모델은 다른 BNN들과 비교해 펜듈럼 역학의 진짜 국소적 주기성을 더 정확하게 포착했다. 이는 세 번의 진동 주기 동안의 결과를 포함한다.
• 단독 주기적 BNN은 학습 초반에 조기에 포화 상태에 이르러 전체 시스템 역학을 모델링할 수 있는 유연성이 부족함을 보였다. 반면 ReLU BNN은 느리게 학습하지만 점차 이를 뛰어넘었다.
• 곱셈 아키텍처는 국소적 주기성 함수를 정밀하게 모델링할 수 있었으며, 이는 BNN이 아키텍처 설계를 통해 GP의 주기적 커널을 모방할 수 있음을 보여준다.
• 결과는 사전 지식을 구조적 BNN 설계를 통해 통합함으로써 데이터 요구량을 줄이고 학습 효율성을 향상시킬 수 있음을 확인하며, '추상화의 축복' 원칙과 일치한다.