[論文レビュー] Joint Training of Deep Boltzmann Machines

Ian Goodfellow, Aaron Courville+1 more|arXiv (Cornell University)|Dec 12, 2012

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 25

ひとこと要約

本稿では、深層ボルツマンマシン（DBMs）のための新たな決定的インペイント評価基準を用いた共同学習手法を提案し、グリーディ層別事前学習を必要としないエンドツーエンドの判別学習を可能にした。この手法により、MNISTで1.19%のテスト誤差を達成し、事前学習を伴わない標準的な変分学習を上回り、従来の二段階手法と同等またはそれ以上の性能を示した。

ABSTRACT

We introduce a new method for training deep Boltzmann machines jointly. Prior methods require an initial learning pass that trains the deep Boltzmann machine greedily, one layer at a time, or do not perform well on classifi- cation tasks.

研究の動機と目的

• グリーディ層別事前学習の制限を克服すること。これは重みの非最適初期化と深層部の相互作用を無視するためである。
• すべてのDBM部品（可視、隠れ、ラベルユニット）をエンドツーエンドで共同学習可能にする、決定的かつスケーラブルな基準を提供すること。
• 生成的事前学習に続く微調整に依存せず、下流の予測と整合した基準を直接最適化することで、分類タスクにおける判別性能を向上させること。
• 高コストなMCMCベースの勾配推定と確率的最適化を回避し、収束性と安定性を向上させること。

提案手法

• 真の後確率分布と欠損変数上の平均場近似のKLダイバージェンスを最小化する、共同DBMインペイント（JDBM）基準を導入する。
• 推定不能な正規化定数の計算やMCMCサンプリングを回避する決定的最適化目的関数を用い、非線形共役勾配法による安定な学習を可能にする。
• 隠れユニットの後確率分布を平均場推論で近似し、変数を条件付きでマスキングし、JDBM基準を用いて再構築する。
• 過学習を防ぎ一般化性能を向上させるために、検証誤差に基づく早期停止を採用し、固定エポック数の学習を置き換える。
• 可視ユニットにおける平均場推論（ラベルを0に固定）により特徴を抽出し、その特徴を多層パーセプトロンに供給して最終分類を実行するハイブリッド特徴抽出パイプラインを採用する。
• 学習の安定性を向上させるためのセンター化トリックを実装し、事前学習がなくても一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 グリーディ層別事前学習を置き換える決定的で共同学習可能な基準が、分類精度を維持または向上させることができるか？
• RQ2 JDBMインペイント基準を用いた共同学習は、事前学習を伴わない標準的な変分学習よりも一般化性能が優れているか？
• RQ3 MNISTベンチマークにおいて、共同学習されたDBMの性能は、標準的な二段階アプローチ（RBMs + DBM）と比べてどうか？
• RQ4 MCMC勾配推定に依存せず、JDBM基準がより優れた判別的表現を学習に導くことができるか？

主な発見

• 提案された共同学習手法は、MNISTで1.19%のテスト誤差を達成し、事前学習なしの標準的DBM変分学習（1.69%誤差）を顕著に上回った。
• JDBM基準で学習したモデルは、事前学習なしの標準的手法よりも訓練セットにおけるインペイント誤差が低く、より良い表現学習が行われたことを示した。
• グリーディ事前学習がなくても、JDBM手法は標準的な二段階アプローチ（RBMs + DBM）の最終テスト精度を上回った。
• 検証誤差に基づく早期停止は一般化性能を向上させ、センター化トリックはさらに性能向上をもたらした。これは最適化の安定性が極めて重要であることを示唆している。
• JDBM基準は、高い訓練誤差にもかかわらずテスト精度が向上したことに基づき、モデルの判別的有用性を効果的に順序付けた。