[論文レビュー] Mixture Representations for Inference and Learning in Boltzmann Machines

Neil D. Lawrence, Chris Bishop+1 more|arXiv (Cornell University)|Jan 30, 2013

Neural Networks and Applications参考文献 7被引用数 17

ひとこと要約

この論文は、ボルツマン機械における平均場近似の限界を克服するために混合表現を用いることを提案し、より正確に多モーダル分布をモデル化する。変分推論を用い、因子分解された分布の混合により、推論および学習性能の両方を向上させる。従来の手法と比較して、複雑なデータ分布の収束性と表現能力に優れていることが示された。

ABSTRACT

Boltzmann machines are undirected graphical models with two-state stochastic variables, in which the logarithms of the clique potentials are quadratic functions of the node states. They have been widely studied in the neural computing literature, although their practical applicability has been limited by the difficulty of finding an effective learning algorithm. One well-established approach, known as mean field theory, represents the stochastic distribution using a factorized approximation. However, the corresponding learning algorithm often fails to find a good solution. We conjecture that this is due to the implicit uni-modality of the mean field approximation which is therefore unable to capture multi-modality in the true distribution. In this paper we use variational methods to approximate the stochastic distribution using multi-modal mixtures of factorized distributions. We present results for both inference and learning to demonstrate the effectiveness of this approach.

研究の動機と目的

• 平均場学習が多モーダル分布を捉えられないとされるボルツマン機械における性能の悪さを是正すること。
• 複雑で多モーダルな事後分布を表現できる、より柔軟な変分推論フレームワークの開発。
• 一様な因子分解近似をその混合に置き換えることで、ボルツマン機械における学習と推論の性能を向上させること。
• 混合ベースの変分推論が、推論およびパラメータ学習の両タスクにおいて有効であることを示すこと。

提案手法

• 本手法は、真の事後分布を因子分解された分布の混合として表現する変分近似を用い、多モーダル性の捉え込みを可能にする。
• 混合成分のパラメータおよび混合重みの最適化に変分推論を適用する。
• クリークポテンシャルがノード状態の二次関数であるボルツマン機械の構造を活用する。
• 混合近似の下で証拠下限界（ELBO）の最大化を用いて学習アルゴリズムを導出する。
• 混合成分は因子分解されているため、最適化中の期待値の計算が効率的に行える。
• 本手法は、ボルツマン機械における推論（事後分布近似）および学習（パラメータ推定）の両方へ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 混合ベースの変分近似は、平均場法と比較してボルツマン機械における推論を改善できるか？
• RQ2 多モーダルな近似の使用は、ボルツマン機械におけるパラメータ学習をより良くするか？
• RQ3 混合表現は、複雑で多モーダルなデータ分布をどれほど正確に捉えることができるか？
• RQ4 単一の因子分解近似をその混合に置き換えることで、学習の収束性と精度にどのような影響を与えるか？

主な発見

• 混合表現は、平均場法では捉えられない多モーダル構造を捉えることで、事後分布近似の質を著しく向上させる。
• 提案手法は、標準的な平均場学習と比較して、より良い収束性と低い変分自由エネルギーを達成する。
• 実験結果から、複数のモードを持つ複雑なデータ分布のモデル化において、混合ベースの手法が平均場法を上回ることが示された。
• 特に真の事後分布が多モーダルである場合に、より正確な推論とパラメータ学習が可能になる。