[論文レビュー] Adaptive Parallel Tempering for Stochastic Maximum Likelihood Learning of RBMs

Guillaume Desjardins, Aaron Courville+1 more|arXiv (Cornell University)|Dec 15, 2010

Neural Networks and Applications参考文献 22被引用数 29

ひとこと要約

本稿では、制限ボルツマンマシン（RBM）学習における平均帰還時間の最小化を目的とした、自己適応的かつ並列温度調整を組み合わせたStochastic Maximum Likelihood with Adaptive Parallel Tempering（SML-APT）を提案する。Katzgraberらの帰還時間最小化原理をオンラインで活用することで、SML-PTに比べて少ないチェーン数でより優れた尤度スコアを達成し、手動によるハイパーパrameterチューニングを不要にするとともに、サンプリングのエルゴドリシティを向上させる。

ABSTRACT

Restricted Boltzmann Machines (RBM) have attracted a lot of attention of late, as one the principle building blocks of deep networks. Training RBMs remains problematic however, because of the intractibility of their partition function. The maximum likelihood gradient requires a very robust sampler which can accurately sample from the model despite the loss of ergodicity often incurred during learning. While using Parallel Tempering in the negative phase of Stochastic Maximum Likelihood (SML-PT) helps address the issue, it imposes a trade-off between computational complexity and high ergodicity, and requires careful hand-tuning of the temperatures. In this paper, we show that this trade-off is unnecessary. The choice of optimal temperatures can be automated by minimizing average return time (a concept first proposed by [Katzgraber et al., 2006]) while chains can be spawned dynamically, as needed, thus minimizing the computational overhead. We show on a synthetic dataset, that this results in better likelihood scores.

研究の動機と目的

• 分配関数が計算不能であるため、RBMのStochastic Maximum Likelihood（SML）学習において混合が悪く、エルゴドリックでないサンプリングが生じる問題に対処すること。
• 並列温度調整（PT）における温度スケジューリングの手動チューニングの必要性を排除し、最適な温度間隔とチェーン生成を自動化すること。
• 全温度レベルにおける粒子の平均帰還時間を最小化することで、SMLにおけるサンプリング効率と収束性を向上させること。
• 固定温度SML-PTと比較して、計算オーバーヘッドを抑えつつ尤度性能を維持または向上させること。
• 自己適応的温度管理により、最小限のユーザー介入で安定的かつ高精度なRBM学習を実現すること。

提案手法

• Katzgraberらの帰還時間最小化原理をオンラインSML設定に適応させ、リアルタイムでの粒子ダイナミクスを用いて温度の適応を誘導する。
• 粒子が最近、最低温度または最高温度のチェーンに訪問したかどうかに基づき、「上昇（up）」および「下降（down）」のラベルを付与して粒子の移動を追跡する。
• 温度インデックスごとの「上昇」粒子の割合 $f_{up}(i)$ に対して線形の目標を維持することで、最適な混合と低い帰還時間の実現を図る。
• 平均スワップレートがユーザーが定義した閾値 $\bar{r}_{\text{min}}$ 未満に下がった場合に、エルゴドリシティを維持するために動的に新しいチェーンを生成する。
• 訓練中に変化するエネルギー障壁に合わせて、逆温度パrameter $\beta_i$ が進化し、エネルギー障壁の周辺に集約されるように設計する。
• SMLの負のフェーズに自己適応的温度制御を統合することで、持続的マルコフ連鎖フレームワークを保持する。

実験結果

リサーチクエスチョン

• RQ1 並列温度調整における自己適応的温度スケジューリングは、RBMのSML学習におけるサンプリングのエルゴドリシティを向上させ得るか？
• RQ2 動的温度適応による平均帰還時間の最小化は、固定温度SML-PTと比較して、より優れた尤度スコアをもたらすか？
• RQ3 最適な温度間隔の自動化により、SML-PTにおける必要なチェーン数を削減できるか？
• RQ4 動的チェーン生成は、固定チェーン数SML-PTと比較して、SML-APTにおける収束性と尤度の安定性にどのように影響するか？
• RQ5 訓練中にエネルギー障壁が変化する場合でも、手動での再チューニングなしにアルゴリズムが適応可能か？

主な発見

• SML-APTは50本のチェーンを用いたSML-PTよりも、20本のチェーンで優れた尤度スコアを達成し、より優れたサンプリング効率を示した。
• 温度インデックスに沿った線形な $f_{up}(i)$ 曲線の維持により、平均帰還時間を最小化しており、これが混合性の向上と相関している。
• SML-APTにおけるペアワイズスワップレートは、エネルギー障壁付近で0.9に達するが、50本のチェーンを用いたSML-PTでは約0.8に留まるため、より効果的なチェーン間通信が実現している。
• SML-APTは時間経過に伴って安定した尤度スコアを維持するが、他の手法では分散が増加するため、訓練の安定性が向上している。
• 逆温度パrameter $\beta_i$ は訓練中に動的に再構成され、進化するエネルギー障壁の周辺に集約されるが、これは手動チューニングでは捉えきれない。
• ハイパーパrameterチューニングの負担を著しく軽減し、学習率と最小平均スワップレート閾値の2つを除いては、設定するパrameterがほとんど不要である。