[論文レビュー] Sparse Group Restricted Boltzmann Machines

Heng Luo, Ruimin Shen+1 more|arXiv (Cornell University)|Aug 30, 2010

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 32

ひとこと要約

本稿では、隠れユニットの活性化確率に $l_1/l_2$ 正則化を適用することで、グループおよび個々のユニットレベルのスパarsityを誘導するスパースグループ制限ボルツマンマシン（SG-RBMs）を提案する。この手法は生成的モデリングおよび特徴学習を向上させ、2層のスパースグループ深層ボルツマンマシンを用いて、順列不変MNISTタスクで最先端の0.84%の誤差率を達成した。

ABSTRACT

Since learning is typically very slow in Boltzmann machines, there is a need to restrict connections within hidden layers. However, the resulting states of hidden units exhibit statistical dependencies. Based on this observation, we propose using $l_1/l_2$ regularization upon the activation possibilities of hidden units in restricted Boltzmann machines to capture the loacal dependencies among hidden units. This regularization not only encourages hidden units of many groups to be inactive given observed data but also makes hidden units within a group compete with each other for modeling observed data. Thus, the $l_1/l_2$ regularization on RBMs yields sparsity at both the group and the hidden unit levels. We call RBMs trained with the regularizer \emph{sparse group} RBMs. The proposed sparse group RBMs are applied to three tasks: modeling patches of natural images, modeling handwritten digits and pretaining a deep networks for a classification task. Furthermore, we illustrate the regularizer can also be applied to deep Boltzmann machines, which lead to sparse group deep Boltzmann machines. When adapted to the MNIST data set, a two-layer sparse group Boltzmann machine achieves an error rate of $0.84\%$, which is, to our knowledge, the best published result on the permutation-invariant version of the MNIST task.

研究の動機と目的

• 標準的なRBMsが隠れユニットの依存関係を捉える能力に限界を示すのを是正し、効率的な推論を維持すること。
• グループレベルだけでなく、隠れユニットのグループ内でもスパarsityを誘導する正則化手法の開発。
• RBMsにおける構造的スパarsityを活用して、生成的モデリングおよび特徴学習を向上させること。
• 提案された正則化手法を深層ボルツマンマシンに拡張し、分類タスクにおける性能を向上させること。

提案手法

• RBMsの隠れユニットの活性化確率に $l_1/l_2$ 正則化を適用し、グループ単位および個々のスパarsityを促進する。
• ロジスティック微分方程式を用いて、$l_1/l_2$ 正則化がグループおよびユニットレベルの両方でスパarsityを誘導することを示す。
• 効率的なパラメータ更新のため、$k=1$ のギブスサンプリングステップを用いたコントラストダイバージェンスによるSG-RBMsの訓練。
• 正則化手法を深層ボルツマンマシンに適応し、スパースグループ深層ボルツマンマシンを構築する。
• 学習された表現のスパarsityを定量的に評価するために、ハウアーのスパarsity尺度を用いる。
• パーティション関数の近似および対数尤度の評価のため、アニールドインポートランスサンプリングを採用する。

実験結果

リサーチクエスチョン

• RQ1 $l_1/l_2$ 正則化を隠れユニットの活性化確率に適用することで、グループおよび個々のユニットレベルの両方でスパarsityを誘導できるか？
• RQ2 提案されたスパースグループRBMsは、画像データにおいて標準的なRBMsよりも優れた生成的モデルを提供するか？
• RQ3 スパースグループRBMsは、後続の分類タスクのためのより判別性の高い特徴を学習できるか？
• RQ4 この正則化手法を深層フィードフォワードネットワークの事前学習に用いることで性能が向上するか？
• RQ5 この手法は深層ボルツマンマシンに拡張可能であり、最先端の結果を達成できるか？

主な発見

• MNISTにおいて、スパースグループRBMsは平均テスト対数尤度が-104（グループサイズ3）であり、標準的なRBMsの-123よりも優れている。これは、より優れた生成的モデリングを示している。
• SG-RBMsが学習する表現の平均スパarsity（グループサイズ3）は0.68であり、標準的なRBMsの0.50を著しく上回っており、強化されたスパarsityが確認された。
• 2層のスパースグループ深層ボルツマンマシンは、順列不変バージョンのMNISTタスクで0.84%のテスト誤差率を達成し、このタスクで発表済みの最高結果であった。
• 784-600-600-2100のネットワークをSG-RBMs（グループサイズ3）で事前学習した結果、0.89%の誤差率を達成し、標準的なRBMsによる事前学習（1.14%）およびスパースRBMsによる事前学習（1.81%）を上回った。
• グループサイズ10のスパースグループ深層ボルツマンマシンは0.84%の誤差率を達成し、同様のアーキテクチャの非正則化深層ボルツマンマシン（0.95%）を上回った。