[論文レビュー] Learning Feature Hierarchies with Centered Deep Boltzmann Machines

Grégoire Montavon, Klaus‐Robert Müller|arXiv (Cornell University)|Mar 16, 2012

Generative Adversarial Networks and Image SynthesisComputer Science参考文献 17被引用数 20

ひとこと要約

本稿では、エネルギー関数を中心化された状態を用いて再パrameter化することで最適化の安定性を向上させる、修正されたトレーニングアルゴリズムであるセンター付きディープボルツマンマシン（C-DBM）を提案する。シグモイド出力をオフセットパラメータで中心化することにより、ヘッセ行列の条件数が改善され、グリーディな事前トレーニングを伴わずに深層の同時トレーニングが可能になる。これにより、MNISTデータ上で収束が速くなり、生成モデリング性能が向上し、階層的特徴表現が豊かになる。

ABSTRACT

Deep Boltzmann machines are in principle powerful models for extracting the hierarchical structure of data. Unfortunately, attempts to train layers jointly (without greedy layer-wise pretraining) have been largely unsuccessful. We propose a modification of the learning algorithm that initially recenters the output of the activation functions to zero. This modification leads to a better conditioned Hessian and thus makes learning easier. We test the algorithm on real data and demonstrate that our suggestion, the centered deep Boltzmann machine, learns a hierarchy of increasingly abstract representations and a better generative model of data.

研究の動機と目的

• ディープボルツマンマシンにおける同時トレーニングの不安定性と収束不良を解消すること。
• シグモイド活性化関数の出力を中心化することで最適化中のヘッセ行列の条件数を改善すること。
• グリーディなレイヤーワイズ事前トレーニングを用いずに、深層生成モデルにおける階層的表現の有効な学習を可能にすること。
• 中心化が実データにおける分類的特徴と生成モデリング能力の向上に寄与するかどうかを評価すること。
• パラメータの中心化がディープボルツマンマシンにおける表現品質とトレーニングダイナミクスに与える影響を調査すること。

提案手法

• 各ユニットごとのオフセットパラメータβを用いて、中心化された状態ξ = x − βを用いてエネルギー関数を再パラメータ化する。
• 中心化された状態を用いてモデルの対数尤度勾配を再定式化し、ヘッセ行列の条件数を改善する。
• 初期オフセットβ = sigm(b₀)を設定することで、シグモイド出力の初期中心化を強制する。
• 再パラメータ化においてギブス分布が不変であることを維持し、モデルの等価性を保証する。
• 重みとバイアスの更新を変更し、勾配計算に中心化された状態を用いることで、センター付きDBMを実装する。
• 線形バックプロジェクションを用いて、DBMの第1層および第2層で学習されたフィルタを可視化する。

実験結果

リサーチクエスチョン

• RQ1 ディープボルツマンマシンにおけるシグモイド出力を中心化することで、ヘッセ行列の条件数が改善され、最適化の安定性が向上するか？
• RQ2 センター付きDBMは、グリーディなレイヤーワイズ事前トレーニングなしで階層的表現を効果的に学習できるか？
• RQ3 中心化が、DBMの第1層および第2層におけるフィルタの多様性と品質にどのように影響するか？
• RQ4 中心化は、上位レイヤー表現の分類的パワーをどの程度向上させるか？
• RQ5 中心化は、生成サンプルの生成品質とクラスバランスにどのように影響するか？

主な発見

• センター付きDBMは非センター付きバージョンと比較して、収束が速く、トレーニングの発散が顕著に減少し、より安定したトレーニングを達成する。
• 中心化によりヘッセ行列の条件数が改善され、最適化プロセスの収束特性が向上する。
• 100エポック経過後のセンター付きDBMの上位レイヤー表現は、明確にラベル関連のクラスタを形成しており、有効な特徴学習が行われていることが示唆される。
• 非センター付きDBMは、上位レイヤー表現を次元が低い多様体へと収縮させやすく、有用な分類的特徴が失われる傾向にある。
• センター付きDBMの第2層フィルタは、非センター付きバージョンと比較して顕著に高い多様性を示しており、より豊かな特徴抽象化が可能であることが示唆される。
• センター付きDBMは、非センター付きモデルで見られるようなクラスバランスの問題を回避し、よりバランスの取れたリアルなサンプルを生成する。