[論文レビュー] Reversible Jump MCMC Simulated Annealing for Neural Networks

Christophe Andrieu, Nando de Freitas+1 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Methods and Mixture Models参考文献 21被引用数 41

ひとこと要約

本稿では、径路基底関数（RBF）ネットワークに対して、ネットワークパラメータと基底関数の数を同時に最適化する、逆遷移マルコフ連鎖モンテカルロ（MCMC）シミュレーテッドアニーリングアルゴリズムを提案する。パラメータ空間とモデル次元空間の両方におけるグローバルサーチを実行することにより、この手法は後験モードに効率的に収束し、ペナルティ付き尤度枠組み内においてAIC、BIC、MDLといった古典的モデル選択基準を回復することができる。

ABSTRACT

We propose a novel reversible jump Markov chain Monte Carlo (MCMC) simulated annealing algorithm to optimize radial basis function (RBF) networks. This algorithm enables us to maximize the joint posterior distribution of the network parameters and the number of basis functions. It performs a global search in the joint space of the parameters and number of parameters, thereby surmounting the problem of local minima. We also show that by calibrating a Bayesian model, we can obtain the classical AIC, BIC and MDL model selection criteria within a penalized likelihood framework. Finally, we show theoretically and empirically that the algorithm converges to the modes of the full posterior distribution in an efficient way.

研究の動機と目的

• RBFネットワーク学習における局所的最小値の課題に取り組むために、パラメータとモデルの複雑さの両方におけるグローバル最適化を可能にする。
• 逆遷移MCMCを用いたベイズ枠組みを構築し、ネットワークアーキテクチャとパラメータの両方における共同推論を可能にする。
• 古典的モデル選択基準（AIC、BIC、MDL）が、キャリブレーションされたベイズモデルを用いたペナルティ付き尤度形式内から導出可能であることを示す。
• 計算的に効率的な方法で、完全な後験分布のモードに収束することを保証する。

提案手法

• アルゴリズムは、パラメータ空間とモデル次元空間の両方を同時に探索する逆遷移MCMCを用い、異なる数の基底関数を持つモデル間の遷移を可能にする。
• 収束を向上させるために、MCMCフレームワークにシミュレーテッドアニーリングを統合する。
• ネットワーク重みと径路基底関数の数の両方の後験分布を同時に最大化する。
• ペナルティ付き尤度形式がAIC、BIC、MDL基準を生み出すように、ベイズモデルをキャリブレーションする。
• 次元を変更する提案を扱うために、次元ジャンプを伴うメトロポリス・ハスティングスカーネルを採用する。
• 理論的に後験モードへの収束が確立されており、ベンチマーク問題における実証的検証によって裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 逆遷移MCMCにシミュレーテッドアニーリングを組み合わせたアルゴリズムは、RBFネットワークのパラメータと基底関数の数の両方を効果的に最適化できるか？
• RQ2 AIC、BIC、MDLといった古典的モデル選択基準は、ベイズ的ペナルティ付き尤度枠組み内でどのように回復できるか？
• RQ3 提案手法は、標準的な局所的最適化手法よりも、後験分布のグローバルモードへの収束をより信頼性高く達成できるか？
• RQ4 シミュレーテッドアニーリングの統合は、ニューラルネットワークのトランスディメンショナルMCMCにおける混合性と収束性をどの程度向上させるか？

主な発見

• 提案されたアルゴリズムは、勾配ベース手法にありがちな局所的最小値を回避しながら、パラメータとモデル次元の共同空間におけるグローバル最適化を成功裏に実行する。
• 逆遷移とシミュレーテッドアニーリングのコンponentの巧みな設計により、理論的にも実証的にも、完全な後験分布のモードへの収束が達成される。
• ベイズモデルをキャリブレーションすることにより、ペナルティ付き尤度枠組み内において古典的AIC、BIC、MDLモデル選択基準を回復する。
• 実証的結果から、アルゴリズムが複雑な後験分布の形状を効率的に探索でき、モデル選択およびパラメータ推定において、標準的手法を上回ることを示している。