[論文レビュー] Exact training of Restricted Boltzmann machines on intrinsically low dimensional data

Aurélien Decelle, Cyril Furtlehner|arXiv (Cornell University)|Mar 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 8

ひとこと要約

本論文は、クーロン相互作用を用いた再定式化により、固有次元が低い構造を持つデータに対する制限付きボルツマンマシン（RBMs）の正確な学習手法を提案する。標準的なRBMsの学習が一次相転移とパラメータのトラップによって失敗することを明らかにし、凸緩和と自然勾配法を用いることで、1次元および2次元のケースにおいて正確な尤度計算と一意な解を得られるようにする。

ABSTRACT

The restricted Boltzmann machine is a basic machine learning tool able, in principle, to model the distribution of some arbitrary dataset. Its standard training procedure appears however delicate and obscure in many respects. We bring some new insights to it by considering the situation where the data have low intrinsic dimension, offering the possibility of an exact treatment and revealing a fundamental failure of the standard training procedure. The reasons for this failure extemdash~like the occurrence of first-order phase transitions during training~ extemdash \ are clarified thanks to a Coulomb interactions reformulation of the model. In addition a convex relaxation of the original optimization problem is formulated thereby resulting in a unique solution, obtained in precise numerical form on $d=1,2$ study cases, while a constrained linear regression solution can be conjectured on the basis of an information theory argument.

研究の動機と目的

• . 固有次元が低いデータにおける標準的RBMs学習の根本的失敗を解消すること。
• . データの低次元構造を活用することで、RBMs学習の正確な取り扱いを提供すること。
• . 学習不能の原因、例えば一次相転移や隠れバイアスのトラップを明確にすること。
• . 最適化問題の凸緩和を定式化し、一意な解を得ること。
• . 情報理論的議論を用いて線形回帰の制約付き解を導出し、数値的に検証すること。

提案手法

• . スピン配置から電磁ポテンシャルへの写像を用いて、RBMsをクーロン相互作用の図式に再定式化する。
• . スピン配置から磁化モードおよび横方向自由度への変数変換を導入する。
• . フィッシャー情報計量を用いて連続時間の自然勾配ダイナミクスを導出する。
• . 大偏差原理を用いて、磁化制約とレジェンドル変換を用いて分配関数を表現する。
• . 磁化空間の離散近似を用いて、1次元および2次元のケースにおける正確な対数尤度を計算する。
• . コントラクト性を保証する自然勾配更新則を適用し、スコア関数のノルムをモニタリングすることで、適応的学習率制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 . なぜ標準的RBMs学習は固有次元が低いデータで失敗するのか？
• RQ2 . RBMs学習中に観察される一次相転移の原因は何か？
• RQ3 . 低次元データの仮定のもとで、非凸的かつ計算不能なRBMs最適化問題をどのように正確に解けるか？
• RQ4 . 隠れバイアス（zj）は、パラメータのトラップとモデル崩壊にどのように寄与するか？
• RQ5 . RBMs学習問題の凸緩和は一意な解をもたらすか？

主な発見

• . 標準的RBMs学習手順は、一次相転移のため失敗する。これはギブスサンプリングが真の磁化から逸脱することに起因する。
• . 隠れバイアスパラメータ（zj）は0付近にトラップされ、1次元では多くの隠れユニットがあっても、最大で2つのフェロ磁性状態に制限される。
• . RBMsのクーロン相互作用再定式化により、1次元および2次元のケースで正確な対数尤度計算が可能になる。
• . 自然勾配法はコントラクト性を保証し、スコア関数のノルムをモニタリングすることで、適応的学習率制御を可能にする。
• . 最適化問題の凸緩和により一意な解が得られ、情報理論的議論を用いて制約付き線形回帰解が予想される。
• . 標準的RBMsからクーロンRBMsへの写像は、多くの弱い特徴が使われる場合、特に2次元でNhが大きい場合には性能が著しく低下する。