[論文レビュー] Relaxations for inference in restricted Boltzmann machines

Sida I. Wang, Roy Frostig+2 more|arXiv (Cornell University)|Dec 21, 2013

Machine Learning and Algorithms参考文献 7被引用数 3

ひとこと要約

本稿では、制限ボルツマンマシン（RBMs）における近似MAP推論のための確率的リラックス・アンド・ラウンド法を提案する。低ランク半定値リラックス（LRP_k）を用いることで、計算効率と精度のバランスを図る。この手法は局所最適解に陥りにくいアンネールドギブスサンプリングを上回り、重要度サンプリングを用いた対数パーティション関数の推定を可能にする。MNISTおよび合成RBMsにおける実験結果から、競争力のある性能を示した。

ABSTRACT

We propose a relaxation-based approximate inference algorithm that samples near-MAP configurations of a binary pairwise Markov random field. We experiment on MAP inference tasks in several restricted Boltzmann machines. We also use our underlying sampler to estimate the log-partition function of restricted Boltzmann machines and compare against other sampling-based methods.

研究の動機と目的

• ギブスサンプリングで一般的に見られる局所最適解を避ける、スケーラブルで高精度な推論手法の開発。
• 半定値計画（SDP）のような凸リラックスと、非凸二次計画（QP）との間のギャップを埋めるために、調整可能な幅kを持つ低ランクリラックス（LRP_k）を導入。
• 提案されたサンプラーをプロポーザル分布として用いることで、RBMsにおける対数パーティション関数の効率的推定を可能にする。
• 実世界および合成RBMsベンチマーク上で、アンネールドギブスおよび重要度サンプリングと比較して本手法の性能を評価する。

提案手法

• 本手法は低ランク半定値リラックス（LRP_k）を用い、最適化問題は各行iについて||X_i||_2 ≤ 1 の制約の下で tr(X^T A X) を最大化することとして定式化される。
• 確率的ラウンドを採用：単位球面上からランダムなベクトルgを生成し、最終的なバイナリ構成は x_i = sign(X_i^T g) により得られる。
• アルゴリズムはLRP_2（k=2）で初期化され、局所最適なXを求めるために投影勾配降下法が用いられる。
• 対数パーティション関数の推定には、rrr-MAPサンプラーをプロポーザルとして用いた重要度サンプリングを採用し、10,000サンプル上で E[exp(x^T A x)/p_X(x)] を計算して Z(A) ≈ を得る。
• p_X(x) は、Xの行ベクトルを角度でソートするO(n log n)の前処理を経て、O(n)時間で効率的に計算可能である。
• 本手法はMAP推論および対数パーティション関数推定の両方のタスクに適用され、MNISTおよび合成RBMsにおいてアンネールドギブスおよびAISと比較される。

実験結果

リサーチクエスチョン

• RQ1 LRP_kのような低ランクリラックスは、RBMsにおけるMAP推論において、完全なSDPやQPリラックスと比較して、計算効率と解の品質のバランスをより良く果たすか？
• RQ2 LRP_kの解に対する確率的ラウンドは、局所最適解から脱出する能力が優れた近似MAP構成を生成するか？
• RQ3 rrr-MAPサンプラーは、RBMsの対数パーティション関数推定のための有効なプロポーザル分布として機能するか？
• RQ4 rrr-MAP手法の性能は、RBMsのサイズおよび幅kの増加に伴ってどのようにスケーリングするか？

主な発見

• MNISTデータセットでは、rrr-MAPサンプラーが対数パーティション関数を438.40と推定し、AIS（436.37）および rrr-low（436.69）を上回った。
• 小さなRBMs（Random-S）に対しては、rrr-ISが対数Zを5092.4と推定し、真値の5127.6に近く、小さなインスタンスにおける精度を示した。
• rrr-MAPサンプラーは、log Zの下界（rrr-low）を436.69として得たが、これはAISの推定値436.37よりもタイトであり、サンプリング品質の向上を示唆した。
• 本手法は局所探索アルゴリズムの初期化に成功し、rrr-MAPまたは局所探索単体よりも優れた結果をもたらした。
• 大規模RBMsでは、Gurobiに比べてrrr-MAPが著しく高速であり、10倍の時間制限でも解の品質で上回った。
• 単純であるにもかかわらず、rrr-MAPサンプラーは競争力のある対数パーティション関数推定を達成したが、低k設定ではサポートが疎であるため、重要度サンプリングの性能は制限を受けていた。