[論文レビュー] Partition Functions from Rao-Blackwellized Tempered Sampling

David Carlson, Patrick Stinson+2 more|arXiv (Cornell University)|Mar 7, 2016

Bayesian Methods and Mixture Models参考文献 44被引用数 8

ひとこと要約

この論文は、複雑で多次元な分布における分配関数推定のための新規手法であるRao-Blackwellized Tempered Sampling (RTS) を提案する。シミュレートされた温度調整を用いるMCMCサンプリングにおいて、逆温度の多項分布の性質を活用することで、Rao-Blackwell化された周辺確率推定値を用いて分配関数を推定する。この手法は、計算コストをほとんど増加させることなく、Annealed Importance Sampling (AIS) よりも高い精度を達成し、特に制限付きボルツマンマシン（RBMs）の学習において顕著な効果を示す。

ABSTRACT

Partition functions of probability distributions are important quantities for model evaluation and comparisons. We present a new method to compute partition functions of complex and multimodal distributions. Such distributions are often sampled using simulated tempering, which augments the target space with an auxiliary inverse temperature variable. Our method exploits the multinomial probability law of the inverse temperatures, and provides estimates of the partition function in terms of a simple quotient of Rao-Blackwellized marginal inverse temperature probability estimates, which are updated while sampling. We show that the method has interesting connections with several alternative popular methods, and offers some significant advantages. In particular, we empirically find that the new method provides more accurate estimates than Annealed Importance Sampling when calculating partition functions of large Restricted Boltzmann Machines (RBM); moreover, the method is sufficiently accurate to track training and validation log-likelihoods during learning of RBMs, at minimal computational cost.

研究の動機と目的

• 機械学習で一般的な高次元で多次元な分布における分配関数推定のための、効率的で高精度な手法を開発すること。
• 特に逆温度の多項分布という構造を活用することで、低コストな分配関数推定器を導出すること。
• 計算負荷を最小限に抑えて、RBMsの学習中に訓練および検証の対数尤度をリアルタイムで追跡可能にする。
• 理論的裏付けが強く、既存の手法（AIS や RAISE など）に比して、困難な状況下でも優れた性能を示す手法を提供すること。

提案手法

• 目的分布に離散的逆温度変数 βk ∈ {β1, ..., βK} を追加し、x と β の混合分布を定義する。
• シミュレートされた温度調整を用いて、混合分布からのサンプリングを実行することで、多次元事後分布の複数のモードを効率的に探索する。
• MCMCチェーンに沿って、βk の周辺確率 p(βk) をRao-Blackwell化により推定する。具体的には、x を与えたときの βk の条件付き確率の平均を取る。
• Rao-Blackwell化された推定値の商として、分配関数比を計算する：ZK / Z1 ≈ (cK / c1) × (r1 / rK)。ここで ck は経験的度数、rk は事前分布の重みである。
• 学習中に推定値を安定化させるために、平滑化更新則を適用する：ZK^(t+1) = ZK^(t) × (r1/rK × cK^(t)/c1^(t))^α で、α ∈ (0.05, 0.5) とする。
• 勾配の分散を低減しつつ、対数分配関数推定の精度を維持するため、非一様事前分布 r_k ∝ exp(2βk) を用いる。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされた温度調整における逆温度の多項分布を活用することで、追加コストを最小限に抑えつつ分配関数を推定できるか？
• RQ2 RTS推定器の精度は、RBMsの分配関数推定において、AIS や RAISE といった既存手法に比べてどの程度優れているか？
• RQ3 RTSは、学習中の訓練および検証対数尤度をリアルタイムで追跡するのに十分な精度と安定性を提供できるか？
• RQ4 逆温度に異なる事前分布を設定した場合、分配関数推定の分散とバイアスにどのような影響を与えるか？
• RQ5 制御変数や一般化アンサンブルと組み合わせることで、さらなる性能向上が可能か？

主な発見

• 大規模な制限付きボルツマンマシンにおける対数分配関数計算において、RTSはAnnealed Importance Sampling (AIS) よりもより高精度な分配関数推定を実現した。
• 2000本の並列チェーンと1回の更新あたり25回のギブススイープのみを用いても、計算コストをほとんど増加させることなく、RBMsの学習中に訓練および検証対数尤度を高精度で追跡可能であった。
• MNISTに784-10のRBMsを適用した実験では、log Zk の推定値が安定的かつ高精度に得られ、最終反復において cK の推定値が真の rK 値とよく一致した。
• 非一様事前分布 r_k ∝ exp(2βk) の使用により、勾配推定の分散が低減されたが、対数Zの精度に顕著な悪影響は見られなかった。
• 凸結合（α = 0.2）による平滑化処理により、小標本サイズに起因するノイズが著しく低減され、学習中の安定性が向上した。
• 広範な探索の結果、RMSEの観点から、非一様事前分布やバイアス補正手法の代替案は、一様事前分布を上回る一貫性のある性能を示さなかった。