[论文解读] Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines

Guillaume Desjardins, Razvan Pascanu+2 more|arXiv (Cornell University)|Jan 16, 2013

Stochastic Gradient Optimization Techniques参考文献 6被引用 19

一句话总结

本文提出了一种无度量自然梯度（MFNG）方法，这是一种用于联合训练深度玻尔兹曼机的二阶优化方法。该方法通过共轭梯度求解器实现高效的矩阵-向量乘积，避免了显式存储费雪信息度量。MFNG 在每轮训练中的收敛速度优于带中心化的随机最大似然方法，但由于计算开销较高，实际训练时间仍较慢。

ABSTRACT

This paper introduces the Metric-Free Natural Gradient (MFNG) algorithm for training Boltzmann Machines. Similar in spirit to the Hessian-Free method of Martens [8], our algorithm belongs to the family of truncated Newton methods and exploits an efficient matrix-vector product to avoid explicitely storing the natural gradient metric $L$. This metric is shown to be the expected second derivative of the log-partition function (under the model distribution), or equivalently, the variance of the vector of partial derivatives of the energy function. We evaluate our method on the task of joint-training a 3-layer Deep Boltzmann Machine and show that MFNG does indeed have faster per-epoch convergence compared to Stochastic Maximum Likelihood with centering, though wall-clock performance is currently not competitive.

研究动机与目标

• 为解决通过最大似然法联合训练深度玻尔兹曼机（DBMs）时因海森矩阵条件不佳而带来的困难。
• 开发一种实用的二阶优化方法，利用自然梯度原理，但无需显式存储费雪信息度量。
• 通过利用参数流形的几何特性，借助高效的矩阵-向量乘积，提升联合训练的收敛速度。
• 在三层 DBM 上评估该方法，并与标准的带中心化的随机最大似然方法进行收敛行为对比。

提出的方法

• 该方法将自然梯度定义为费雪信息度量矩阵的逆作用于负对数似然梯度，其中度量为对数配分函数的期望海森矩阵。
• 通过类似 Hessian-Free 的方法避免显式存储度量 $ L $，即通过 MINRES 等迭代线性求解器计算 $ L^{-1} \mathbb{E}_q[\nabla \log p_\theta] $。
• 该算法利用随机最大似然（SML）中的持久马尔可夫链，高效估计负对数似然梯度及其期望。
• 自然梯度通过模型分布下能量函数偏导数的协方差计算，该协方差对应于费雪信息矩阵。
• 对度量 $ L $ 施加对角线正则化以稳定求逆过程，线性系统以固定容差 $ 10^{-5} $ 求解。
• 该方法设计为对参数化方式不变，并通过考虑曲率特性，保持在概率流形上的恒定进展。

实验结果

研究问题

• RQ1 无度量自然梯度方法能否在 DBM 的联合训练中实现比一阶方法更快的每轮收敛速度？
• RQ2 避免显式存储费雪信息度量是否能实现具有复杂后验分布模型的可扩展二阶优化？
• RQ3 MFNG 与带中心化的 SML 在收敛速度和优化稳定性方面有何比较？
• RQ4 通过超参数调优或预条件策略，能否降低 MFNG 的计算成本？
• RQ5 MFNG 是否特别适用于海森矩阵条件不佳或后验分布复杂的模型？

主要发现

• 在三层深度玻尔兹曼机上，MFNG 的每轮收敛速度优于带中心化的随机最大似然方法。
• 由于求解线性系统的计算开销较高，MFNG 的实际训练时间目前仍不具竞争力。
• 线性系统求解器（MINRES）通常在约 15 次迭代内收敛，容差固定为 $ 10^{-5} $。
• 该方法避免了显式存储费雪信息度量 $ L $，转而依赖通过迭代线性求解器实现的高效矩阵-向量乘积。
• 自然梯度被定义为 $ L^{-1} \mathbb{E}_q[\nabla \log p_\theta] $ 的解，其中 $ L $ 为对数配分函数的期望海森矩阵。
• 采用如雅可比预条件法等预条件策略可能提升收敛速度，是未来优化的有前景方向。