[논문 리뷰] Towards Expressive Priors for Bayesian Neural Networks: Poisson Process Radial Basis Function Networks

Beau Coker, Melanie F. Pradier외 1명|arXiv (Cornell University)|2019. 12. 12.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 5

한 줄 요약

이 논문은 RBF 중심에 대한 포아송 과정을 활용한 베이지안 신경망 사전분포인 포아송 프로세스 라디얼 기저 함수 네트워크(PoRB-NETs)를 소개한다. 이 방법은 입력에 따라 변하는 길이 척도와 진폭 분산을 독립적으로 설정할 수 있도록 하며, 함수 추정의 일관성과 네트워크 용량 및 불확실성의 적응적 조정을 보장한다. 실수 및 합성 데이터에서 표준 BNN보다 우수한 성능을 보이며, GP 성능과도 맞먹는다. 기능적 해석 가능성 또한 향상된다.

ABSTRACT

While Bayesian neural networks have many appealing characteristics, current priors do not easily allow users to specify basic properties such as expected lengthscale or amplitude variance. In this work, we introduce Poisson Process Radial Basis Function Networks, a novel prior that is able to encode amplitude stationarity and input-dependent lengthscale. We prove that our novel formulation allows for a decoupled specification of these properties, and that the estimated regression function is consistent as the number of observations tends to infinity. We demonstrate its behavior on synthetic and real examples.

연구 동기 및 목표

• 표준 베이지안 신경망(BNN) 사전분포가 정상성, 길이 척도, 또는 신호 분산과 같은 기본적인 성질을 반영하지 못하는 기능적 해석 가능성의 부족을 해결하기 위해.
• 특히 진폭 정상성과 입력에 따라 변하는 길이 척도와 같은 기능적 성질을 직접적으로 반영하는 BNN 사전분포를 개발하기 위해.
• 진폭 분산과 길이 척도를 독립적으로 제어할 수 있도록 분리된 설정을 보장하기 위해.
• 이론적으로 탄탄하고 확장 가능한 추론 방법을 제공하여, 사전 기대가 잘못 설정된 경우에도 데이터에 따라 네트워크 용량과 불확실성을 적응적으로 조정할 수 있도록 하기 위해.
• 모델이 비정상 패턴을 포착하고 데이터 갭에서 불확실성을 조정할 수 있는 능력을 실증적으로 검증하기 위해.

제안 방법

• 기본 모델로 단일층 라디얼 기저 함수 네트워크(RBFN)를 사용하며, 중심들은 입력 공간 상의 포아송 프로세스 사전분포로부터 추출된다.
• 포아송 프로세스의 강도 함수는 비정상적이고 입력에 따라 변하는 함수로 모델링되어 유연한 길이 척도 제어를 가능하게 한다.
• 진폭 분산은 RBF 커널 내 별도의 스케일 파라미터를 통해 독립적으로 제어되어 길이 척도와 분리된다.
• 계층적 사전분포 구조를 사용하며, 포아송 프로세스 강도 자체를 GP로 모델링하여 데이터로부터 비정상적인 길이 척도 학습이 가능하도록 한다.
• 후행 추론은 마르코프 체인 몽테카를로(MCMC)를 사용하며, 음성 역전이 MCMC를 활용해 은닉 유닛 수를 추론한다.
• 이 방법은 일관성을 보장한다: 관측 수가 증가함에 따라 추정된 회귀 함수가 진짜 함수로 수렴한다.

실험 결과

연구 질문

• RQ1 표준 베이지안 신경망(BNN) 사전분포를 설계하여, 가우시안 프로세스(GP)와 유사하게 진폭 정상성과 입력에 따라 변하는 길이 척도와 같은 기능적 성질을 직접 반영할 수 있는가?
• RQ2 RBF 중심에 대한 제안된 포아송 프로세스 사전분포가 진폭 분산과 길이 척도를 독립적으로 제어할 수 있는가? 이는 단순한 포아송 기반 중심 배치에서 발생하는 결합 현상과는 다를 것이다.
• RQ3 사전 기대가 잘못 설정된 경우에도, 모델이 데이터 복잡도에 따라 효과적인 용량(은닉 유닛 수)을 적응적으로 조정할 수 있는가?
• RQ4 데이터 갭에서 모델의 불확실성 분포는 어떻게 행동하는가? 그리고 강도 조정을 통해 외삽 불확실성을 명시적으로 조절할 수 있는가?
• RQ5 PoRB-NET는 입력에 따라 변하는 길이 척도를 가진 GP(L-GP)와 드롭아웃 기반 불확실성 추정과 같은 최첨단 방법과 비교해 유사한 성능을 달성하는가?

주요 결과

• 관측 수가 증가함에 따라 PoRB-NETs는 일관된 함수 추정을 달성하며, 회귀 함수의 이론적 일관성을 입증한다.
• 모델은 진폭 분산과 길이 척도를 성공적으로 분리하여, 이 둘을 독립적으로 설정할 수 있다. 이는 표준 BNN에서 이들이 매개변수 공간 내에서 얽히는 것과는 다르다.
• 합성 실험에서 PoRB-NETs는 데이터 복잡도 증가에 따라 사전 기대값인 3개의 은닉 유닛에서 5~7개로 자동 조정되며, 고정된 용량을 가진 표준 BNN보다 뛰어난 성능을 보였다.
• 데이터 갭에서는 포아송 프로세스 강도를 높일수록 길이 척도가 감소하고, 이로 인해 불확실성이 증가한다. 이는 외삽 불확실성을 명시적으로 제어할 수 있음을 의미한다.
• 실제 데이터셋(Motorcycle, Finance, MIMIC)에서 PoRB-NETs는 비정상 패턴을 포착하고, 입력에 따라 변하는 길이 척도를 가진 GP(L-GP)와 유사한 불확실성 추정을 생성하며, 드롭아웃 기반 방법보다 뛰어난 성능을 보였다.
• PoRB-NETs에서 추정된 강도 함수는 기능 변화가 급격한 영역(예: Motorcycle 데이터 중간부, MIMIC의 피크)에서 더 높아지며, 국소적 길이 척도 변화를 효과적으로 학습하고 있음을 보여준다.