[論文レビュー] On Training Deep Boltzmann Machines

Guillaume Desjardins, Aaron Courville+1 more|arXiv (Cornell University)|Mar 20, 2012

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 13

ひとこと要約

本論文は、層間の重みベクトルの大きさが類似するよう促すことで、深層ボルツマンマシン（DBMs）の同時学習を安定化する単純なノルムに基づく正則化スキームを提案する。重みノルム分布の分散をペナルティ化することで、本手法は全層の同時に学習可能であることを示しており、標準的な確率的最尤推定（SML）では失敗するが、MNISTデータで意味のあるペンストロークに類似した特徴を学習可能である。

ABSTRACT

The deep Boltzmann machine (DBM) has been an important development in the quest for powerful "deep" probabilistic models. To date, simultaneous or joint training of all layers of the DBM has been largely unsuccessful with existing training methods. We introduce a simple regularization scheme that encourages the weight vectors associated with each hidden unit to have similar norms. We demonstrate that this regularization can be easily combined with standard stochastic maximum likelihood to yield an effective training strategy for the simultaneous training of all layers of the deep Boltzmann machine.

研究の動機と目的

• 標準的な確率的最尤推定（SML）を用いた深層ボルツマンマシン（DBMs）の同時学習における、不良な局所最適解という長年の課題に対処すること。
• 全層を同時にエンドツーエンドで学習可能にするために、グリーディ層別事前学習の必要性を排除すること。
• 全隠れユニットが均等に寄与するようにする正則化戦略を開発し、層間で重みベクトルノルムの均一性を促進すること。
• この正則化が、モデルの深さやトポロジーの柔軟性を損なわず、深層生成モデルにおける効果的な特徴学習を可能にすることを示すこと。

提案手法

• 各層の平均ノルムから個々の重みベクトルノルムの逸脱をペナルティ化する正則化項を導入し、二乗誤差ペナルティを用いる。
• 隣接層の平均ノルムの類似性を強制するため、追加の $ l^2 $-ベースのペナルティを導入して正則化を拡張する。
• 標準的な確率的最尤推定（SML）目的関数に正則化項を統合し、正則化SML学習基準を構築する。
• 安定した最適化を確保するため、平均ノルムパラメータ ($ \mu^{(l)} $) に対して別個で遅い学習率を用いる。
• 活性な接続に基づいて低層の重みを組み合わせることで、フィルタを可視化し、階層的特徴表現の解釈を可能にする。
• 固定されたハイパーパrameterを用いてMNISTでモデルを学習し、フィルタの品質と収束行動を評価する。

実験結果

リサーチクエスチョン

• RQ1 グリーディ層別事前学習に依存せずに、深層ボルツマンマシンの全層の同時学習を安定化させることは可能か？
• RQ2 なぜ標準的な確率的最尤推定は、特に最初の隠れ層において、深層ボルツマンマシンを効果的に学習できないのか？
• RQ3 層内および層間で重みベクトルノルムの均一性を強制することで、モデルの学習と特徴学習が向上するか？
• RQ4 この正則化スキームは、2〜3層を超えるより深いDBMsに対しても拡張可能か？
• RQ5 正則化は、可視層および隠れ層の学習済みフィルタの品質と解釈可能性にどのように影響するか？

主な発見

• MNISTにおける3層DBMの標準SML学習では、多くの第一層フィルタのノルムが非常に小さくなり、ランダムノイズに類似し、モデルにほとんど寄与しない。
• 提案された正則化スキームは、1層あたり500ユニットの2層DBMを成功裏に学習し、第一層フィルタがペンストローク検出器に類似した形状を示しており、意味のある特徴学習の兆候を示している。
• 正則化モデルの第二層フィルタは、低レベルの特徴を組み合わせてより複雑な数字に類似したパターンを形成しており、階層的表現学習の証明である。
• 正則化は、重みノルムの分散が大きい不良な局所最適解へのモデルの収縮を防ぐことで、学習を安定化させる。
• 事前学習を必要とせず、全層を同時に学習可能であり、上位層が下位層のフィルタ学習に影響を与えることができ、トポロジーの柔軟性を保っている。
• 本手法は、異なる学習率やミニバッチサイズに対しても有効であり、より深いアーキテクチャへの応用の可能性を示唆しているが、より深い実験は今後の課題として残されている。