[논문 리뷰] Reversible Jump MCMC Simulated Annealing for Neural Networks

Christophe Andrieu, Nando de Freitas외 1명|arXiv (Cornell University)|2013. 01. 16.

Bayesian Methods and Mixture Models참고 문헌 21인용 수 41

한 줄 요약

이 논문은 라디얼 기저 함수(RBF) 네트워크에 대해 복원 가능한 점프 마르코프 체인 몬테카를로(MCMC) 시뮬레이티드 어닐링 알고리즘을 제안하며, 네트워크 파라미터와 기저 함수의 수를 동시에 최적화한다. 공동 파라미터 공간과 모델 차원 공간에서의 전역 탐색을 통해 방법은 사후 모드로 효율적으로 수렴하며, 페널라이즈드 우도 프레임워크 내에서 AIC, BIC, MDL와 같은 고전적 모델 선택 기준을 복원한다.

ABSTRACT

We propose a novel reversible jump Markov chain Monte Carlo (MCMC) simulated annealing algorithm to optimize radial basis function (RBF) networks. This algorithm enables us to maximize the joint posterior distribution of the network parameters and the number of basis functions. It performs a global search in the joint space of the parameters and number of parameters, thereby surmounting the problem of local minima. We also show that by calibrating a Bayesian model, we can obtain the classical AIC, BIC and MDL model selection criteria within a penalized likelihood framework. Finally, we show theoretically and empirically that the algorithm converges to the modes of the full posterior distribution in an efficient way.

연구 동기 및 목표

• RBF 네트워크 학습에서의 국소 최솟값 문제를 해결하기 위해 파라미터와 모델 복잡도 양쪽에 대한 전역 최적화를 가능하게 한다.
• 복원 가능한 점프 MCMC를 사용하여 네트워크 아키텍처와 파라미터에 대한 공동 추론이 가능한 베이지안 프레임워크를 개발한다.
• 고전적 모델 선택 기준(AIC, BIC, MDL)이 페널라이즈드 우도 공식화 내에서 校정된 베이지안 모델을 사용해 유도될 수 있음을 보여준다.
• 계산적으로 효율적인 방식으로 전체 사후 분포의 모드로 수렴함을 보장한다.

제안 방법

• 알고리즘은 복원 가능한 점프 MCMC를 사용하여 파라미터 공간과 모델 차원 공간을 동시에 탐색하며, 서로 다른 기저 함수 수를 가진 모델 간의 전이를 허용한다.
• 시뮬레이티드 어닐링을 MCMC 프레임워크에 통합하여 사후 분포의 전역 모드로의 수렴을 향상시킨다.
• 이 방법은 네트워크 가중치와 라디얼 기저 함수의 수에 대한 사후 분포를 동시에 최대화한다.
• 베이지안 모델을 校정하여, 페널라이즈드 우도 공식화가 AIC, BIC, MDL 기준을 유도하도록 한다.
• 차원을 넘나드는 이동을 다루기 위해 차원 이동 제안을 포함한 메트로폴리스-하스팅스 커널을 사용한다.
• 이론적으로 사후 모드로의 수렴이 확립되었으며, 벤치마크 문제에 대한 경험적 검증으로 뒷받침된다.

실험 결과

연구 질문

• RQ1 복원 가능한 점프 MCMC 알고리즘에 시뮬레이티드 어닐링을 통합하면 RBF 네트워크의 파라미터와 기저 함수 수를 효과적으로 최적화할 수 있는가?
• RQ2 AIC, BIC, MDL와 같은 고전적 모델 선택 기준은 어떻게 베이지안 페널라이즈드 우도 프레임워크 내에서 복원할 수 있는가?
• RQ3 제안된 방법은 표준 국소 최적화 기법보다 사후 분포의 전역 모드로 더 신뢰성 있게 수렴하는가?
• RQ4 시뮬레이티드 어닐링의 통합은 신경망의 전이 차원 MCMC에서 혼합성과 수렴성에 얼마나 기여하는가?

주요 결과

• 제안된 알고리즘은 파라미터와 모델 차원의 공동 공간에서 전역 최적화를 성공적으로 수행하여 기울기 기반 방법에서 흔히 발생하는 국소 최솟값을 피한다.
• 복원 가능한 점프와 시뮬레이티드 어닐링 구성 요소의 철저한 설계 덕분에 이론적으로도 경험적으로도 전체 사후 분포의 모드로 수렴한다.
• 베이지안 모델을 校정함으로써, 페널라이즈드 우도 프레임워크 내에서 고전적 AIC, BIC, MDL 모델 선택 기준을 복원할 수 있다.
• 경험적 결과는 알고리즘이 복잡한 사후 분포 표면을 효율적으로 탐색하며, 모델 선택과 파라미터 추정에서 표준 최적화 기법보다 뛰어난 성능을 보임을 보여준다.