[論文レビュー] Training Restricted Boltzmann Machines via the Thouless-Anderson-Palmer Free Energy

Marylou Gabrié, Eric W. Tramel+1 more|arXiv (Cornell University)|Jun 9, 2015

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 9

ひとこと要約

本稿では、統計物理学における平均場理論の改良版であるトゥースル・アンドリュース・パルマー（TAP）近似を用いて、制限ボルツマンマシン（RBM）の決定的学習手法を提案する。ナード・平均場近似の2次以降の補正を組み込むことで、パーサーバント対照的分散（PCD）と同等の性能を達成し、明確で解析的に取り扱える目的関数を備えることで、学習プロセスの効率的モニタリングが可能となる。

ABSTRACT

Restricted Boltzmann machines are undirected neural networks which have been shown to be effective in many applications, including serving as initializations for training deep multi-layer neural networks. One of the main reasons for their success is the existence of efficient and practical stochastic algorithms, such as contrastive divergence, for unsupervised training. We propose an alternative deterministic iterative procedure based on an improved mean field method from statistical physics known as the Thouless-Anderson-Palmer approach. We demonstrate that our algorithm provides performance equal to, and sometimes superior to, persistent contrastive divergence, while also providing a clear and easy to evaluate objective function. We believe that this strategy can be easily generalized to other models as well as to more accurate higher-order approximations, paving the way for systematic improvements in training Boltzmann machines with hidden units.

研究の動機と目的

• 対照的分散（CD）やパーサーバント対照的分散（PCD）といった広く使われているが理論的裏付けが不十分な確率的RBM学習手法の代替として、決定的であるが理論的根拠を持つ代替手法を開発すること。
• ナード・平均場法のRBM学習における劣悪な性能を改善するため、トゥースル・アンドリュース・パルマー（TAP）アプローチを用いて2次以降の項にまで拡張した近似を導入すること。
• RBM学習中の教師なし学習の進行状況をモニタリング可能な実用的で解析的に取り扱える目的関数を提供すること。
• 隠れユニットを有するモデルにおいて、高次平均場近似が学習効率と性能を体系的に向上させられることを示すこと。
• 本手法の一般化可能性を、ガウス・ベルヌーイRBMやマルチレイヤー構造を含む他のモデルへ応用できるかを検討すること。

提案手法

• 本手法は、ナード・平均場近似の2次以降の補正を含むトゥースル・アンドリュース・パルマー（TAP）自由エネルギー展開を採用し、分配関数や自由エネルギーの推定精度を向上させる。
• TAP近似により、拡張平均場（EMF）自由エネルギーに基づく閉形式で解析的に計算可能な目的関数が導出され、パrameterの更新を指針とする。
• アルゴリズムは、TAPに基づく目的関数の勾配を用いてRBMパrameter（重み、バイアス）を繰り返し更新する。確率的サンプリングを避けることで、決定的学習が可能となる。
• 実数値の可視ユニットに対しても、入力を磁化として取り扱うことで、標準的なバイナリRBMを超えた応用範囲を拡張する。
• MNISTおよびCaltech 101 Silhouettesデータセットを用い、CD-1およびPCDとの比較を通じて妥当性を検証し、対数尤度と分類精度を指標とする。
• 3次までの高次項を体系的に評価した結果、2次以降では利得が著しく減少し、展開の収束が示された。

実験結果

リサーチクエスチョン

• RQ1 トゥースル・アンドリュース・パルマー（TAP）平均場近似は、ナード・平均場法と比較して、決定的RBM学習の性能を顕著に向上させることができるか？
• RQ2 TAPに基づく目的関数は、CD や PCD といった確率的学習アルゴリズムの信頼性の高いかつ効率的な代替手段として機能するか？
• RQ3 拡張平均場アプローチは、実数値の可視ユニットを有するモデルへ一般化可能であり、そのような環境でも性能を維持できるか？
• RQ4 2次以降の高次補正は、RBM学習における学習性能と収束性にどのように影響を与えるか？
• RQ5 TAPに基づく手法は、確率的サンプリングに依存せずに、PCDと同等の分類精度を達成できるか？

主な発見

• TAPに基づく決定的学習手法は、テストセットの対数尤度性能において、パーサーバント対照的分散（PCD）と同等の水準に達し、学習エポックにわたる著しい劣化は認められない。
• P-TAP2アルゴリズム（2次補正付きのパーサーバントTAP）は、MNISTにおける分類精度をPCDと同等に維持するが、CD-1は顕著に低い性能を示す。
• 入力を磁化として取り扱うことで、本手法は実数値データに対するRBMの学習に成功し、スケーリングされたMNISTにおいて他の手法よりもわずかに高い分類精度を達成した。
• P-TAP3（3次補正）はP-TAP2に比べて僅かな改善しかもたらさず、2次補正が展開の大部分の利点を捉えていることが示された。
• 拡張平均場目的関数は解析的に取り扱えるため、学習プロセスの信頼性あるモニタリングが可能であり、解釈性と安定性の面で確率的手法に比べ明確な利点を有する。
• より困難なCaltech 101 Silhouettesデータセットにおいても、本手法は堅牢性を示し、CD-1やPCDと同等以上に性能を発揮した。これは、一般化可能性が非常に高いことを示唆している。