[論文レビュー] On the mapping between Hopfield networks and Restricted Boltzmann Machines

Matthew Smart, Anton Zilman|arXiv (Cornell University)|Jan 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 4

ひとこと要約

本稿では、相関のあるバイナリパターンを有するホフリートネットワーク（HNs）とバイナリ可視ユニットおよびガウス型隠れユニットを有する制限付きボルツマンマシン（RBMs）との間で正確な写像を提示する。これにより、HNの重みを直接RBMsの重み初期化に変換可能となる。この手法により、特にMNISTデータ上で顕著な訓練上の利点が得られ、最小限の訓練後でもランダム初期化モデルを上回る性能を示す。

ABSTRACT

Hopfield networks (HNs) and Restricted Boltzmann Machines (RBMs) are two important models at the interface of statistical physics, machine learning, and neuroscience. Recently, there has been interest in the relationship between HNs and RBMs, due to their similarity under the statistical mechanics formalism. An exact mapping between HNs and RBMs has been previously noted for the special case of orthogonal (uncorrelated) encoded patterns. We present here an exact mapping in the case of correlated pattern HNs, which are more broadly applicable to existing datasets. Specifically, we show that any HN with $N$ binary variables and $p<N$ arbitrary binary patterns can be transformed into an RBM with $N$ binary visible variables and $p$ gaussian hidden variables. We outline the conditions under which the reverse mapping exists, and conduct experiments on the MNIST dataset which suggest the mapping provides a useful initialization to the RBM weights. We discuss extensions, the potential importance of this correspondence for the training of RBMs, and for understanding the performance of deep architectures which utilize RBMs.

研究の動機と目的

• 任意の（相関のある）バイナリパターンに対して、ホフリートネットワークとRBMsの間の正確な対応関係を確立すること。これにより、従来の直交パターンに限局した研究を拡張する。
• HNから得られる重み初期化を活用することで、実用的なRBMsの訓練改善を実現すること。
• HNへの逆写像を特徴づけ、正確な逆写像が不可能な場合の近似再構成にための行列分解手法を提供すること。
• この写像の実用的有用性を示し、訓練時間とモデルサイズの削減を実現しながら、生成的および分類タスクにおける性能を維持または向上させること。

提案手法

• 本稿では、$N$ 個のバイナリユニットと $p < N$ 個の任意のバイナリパターンを有するホフリートネットワークから、$N$ 個のバイナリ可視ユニットと $p$ 個のガウス型隠れユニットを有するRBMsへの正確な変換を導出する。
• 写像は、$\mathbf{J} = \bm{\xi}(\bm{\xi}^T\bm{\xi})^{-1}\bm{\xi}^T$ という射影則を用いてHNのハミルトニアンを定義し、これを等価なRBMsのエネルギー関数に再表現する。
• RBMsは、その重み行列がHNの相互作用行列に対応するように構築され、可視ユニットがHNのスピンを、隠れユニットがパターンの射影を表す。
• 逆写像は行列分解を用いて分析され、HNがRBMsから再構成可能となる条件が導出される。
• HNの分配関数は、スピンをRBMs表現を用いて和分することで、効率的に計算可能となる。
• 実験ではMNISTデータを用いて初期化を検証する。HN重みは直交化され、RBMsの重み初期化に使用され、その後、生成的および分類タスクにおける訓練と評価が実施される。

実験結果

リサーチクエスチョン

• RQ1 任意の（非直交の）バイナリパターンに対して、ホフリートネットワークとRBMsの間で正確な写像を確立できるか。これは、非相関パターンの特殊ケースを超えるものである。
• RQ2 RBMsからHNへの逆写像が可能となる条件は何か。また、正確な再構成が失敗した場合、どのように近似可能か。
• RQ3 HNからRBMsへの写像は、ランダム初期化や他のヒューリスティック初期化と比較して、RBMsの訓練に優れた初期化を提供するか。
• RQ4 HNベースの初期化は、MNISTなどの実世界のデータセットにおいて、訓練効率とモデル性能にどのように影響を与えるか。
• RQ5 この対応関係は、深層信念ネットワークや深層ボルツマンマシンなどのRBMsから構築された深層アーキテクチャの性能向上に寄与できるか。

主な発見

• HNからRBMsへの写像により、$N$ 個のバイナリユニットと $p < N$ 個の任意のバイナリパターンを有する任意のホフリートネットワークを、$N$ 個のバイナリ可視ユニットと $p$ 個のガウス型隠れユニットを有するRBMsに正確に変換可能である。
• RBMsからHNへの逆写像は、特定の条件下でのみ可能であり、正確な再構成が不可能な場合には行列分解を用いて近似HNを構築する。
• MNISTデータセットにおいて、直交化されたHN重みで初期化されたRBMsは、1エポック後で $k=100$ 個の隠れユニットを有する場合に $3.0\%$ の訓練誤差を達成し、50エポック後でもランダム初期化モデルを上回る性能を示す。
• $k=10$ 個の隠れユニットでさえも、HN初期化されたPoEモデルは、すべての訓練エポックにおいて $k=100$ のランダム初期化PoEモデルと同等またはそれ以上の性能を示す。
• $k=100$ 個の隠れユニットを有するHN初期化RBMsは、訓練なしで $4.4\%$ のテスト誤差を達成し、50エポックの訓練を経た $k=100$ のランダム初期化RBMsを上回る性能を示す。
• HNベースの初期化は、生成的モデリングおよび分類タスクの両方において、収束が速く、性能が優れている。これにより、より小さなモデルでも、より大きく長期間訓練されたモデルと同等またはそれ以上の性能を達成可能となる。