[論文レビュー] Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines

Guillaume Desjardins, Razvan Pascanu+2 more|arXiv (Cornell University)|Jan 16, 2013

Stochastic Gradient Optimization Techniques参考文献 6被引用数 19

ひとこと要約

本稿では、深層ボルツマンマシンの共同学習のための2次最適化手法として、メトリックフリーな自然勾配（MFNG）を提案する。この手法は、共役勾配ソルバーを用いた効率的な行列-ベクトル積により、フィッシャー情報計量の明示的保存を回避する。MFNGは、センターイングを施した確率的最尤推定（SML）よりも1エポックあたりの収束が速いが、計算オーバーヘッドのため、ウォールクロック時間でのトレーニングは依然として遅い。

ABSTRACT

This paper introduces the Metric-Free Natural Gradient (MFNG) algorithm for training Boltzmann Machines. Similar in spirit to the Hessian-Free method of Martens [8], our algorithm belongs to the family of truncated Newton methods and exploits an efficient matrix-vector product to avoid explicitely storing the natural gradient metric $L$. This metric is shown to be the expected second derivative of the log-partition function (under the model distribution), or equivalently, the variance of the vector of partial derivatives of the energy function. We evaluate our method on the task of joint-training a 3-layer Deep Boltzmann Machine and show that MFNG does indeed have faster per-epoch convergence compared to Stochastic Maximum Likelihood with centering, though wall-clock performance is currently not competitive.

研究の動機と目的

• 深層ボルツマンマシン（DBM）を最尤推定により共同学習するという課題に取り組む。これは、悪条件の悪いヘッセ行列のため、困難である。
• フィッシャー情報計量の明示的保存を伴わないが、自然勾配の原則を活用する実用的な2次最適化手法を開発すること。
• 効率的な行列-ベクトル積を用いて、パrameter多様体の幾何構造を活用することで、共同学習における収束速度を向上させること。
• 3層のDBMに対して本手法を評価し、標準的なセンターイング付き確率的最尤推定（SML）と収束特性を比較すること。

提案手法

• 自然勾配は、フィッシャー情報計量の逆行列を負の対数尤度勾配に作用させることで得られる。ここで計量は、対数正規化関数の期待ヘッセ行列である。
• 計量 $ L $ の明示的保存を回避するため、Hessian-Free風のアプローチを採用し、MINRES などの反復的線形ソルバーを用いて $ L^{-1} \mathbb{E}_q[\nabla \log p_\theta] $ を計算する。
• 負の対数尤度勾配およびその期待値を効率的に推定するために、確率的最尤推定（SML）からの永続的マルコフ連鎖が使用される。
• 自然勾配は、モデル分布下でのエネルギー関数の偏微分の共分散として得られ、これはフィッシャー情報計量に相当する。
• 計量 $ L $ の逆行列化プロセスを安定化させるために対角正則化が施され、線形方程式は固定許容誤差 $ 10^{-5} $ で解かれる。
• 本手法はパrameter化に不変であり、曲率を考慮することで、確率多様体に沿った一定の進行を維持することを設計している。

実験結果

リサーチクエスチョン

• RQ1 メトリックフリーな自然勾配法は、DBMの共同学習において、1次最適化手法よりも1エポックあたりの収束が速くなるか？
• RQ2 フィッシャー情報計量の明示的保存を避けることで、複雑な事後分布を有するモデルにおけるスケーラブルな2次最適化が可能になるか？
• RQ3 MFNGは、センターイング付きSMLと比較して、収束速度および最適化の安定性において優れているか？
• RQ4 ハイパーパramータチューニングや前処理戦略によって、MFNGの計算コストを低減できるか？
• RQ5 MFNGは、悪条件のヘッセ行列や複雑な事後分布を有するモデルに対して特に有益か？

主な発見

• MFNGは、3層の深層ボルツマンマシンにおいて、センターイング付き確率的最尤推定（SML）よりも1エポックあたりの収束が速い。
• MFNGのウォールクロック時間でのトレーニング時間は、線形システムを解く際の高い計算オーバーヘッドのため、SMLと比較して現在は競争力に欠ける。
• 線形システムソルバー（MINRES）は通常、許容誤差 $ 10^{-5} $ で約15イテレーションで収束する。
• 本手法は、フィッシャー情報計量 $ L $ の明示的保存を回避し、代わりに反復的線形ソルバーによる効率的な行列-ベクトル積に依存する。
• 自然勾配は、$ L^{-1} \mathbb{E}_q[\nabla \log p_\theta] $ の解として得られる。ここで $ L $ は、対数正規化関数の期待ヘッセ行列である。
• 前処理（例えば、ヤコビ法の使用）により収束速度を向上させられ、将来的な最適化において有望な方向性である。