[论文解读] New perspectives on the natural gradient method.

James Martens|arXiv (Cornell University)|Dec 3, 2014

Advanced Optimization Algorithms Research参考文献 13被引用 23

一句话总结

本文通过证明在一般条件下，Fisher 信息矩阵与 Schraudolph 的广义高斯-牛顿矩阵等价，统一了 Amari 的自然梯度方法的多种版本，揭示了无 Hessian 优化是自然梯度方法的一种形式。它将自然梯度视为一种近似牛顿法，从而为阻尼技术提供了理论依据，并分析了参数化不变性，表明经典牛顿-拉夫森法中不存在该性质，而特定梯度方法中则存在。

ABSTRACT

In this report we review and discuss some theoretical aspects of Amari's natural gradient method, provide a unifying picture of the many different versions of it which have appeared over the years, and offer some new insights and perspectives regarding the method and its relationship to other optimization methods. Among our various contributions is the identification of a general condition under which the Fisher information matrix and Schraudolph's generalized Gauss-Newton matrix are equivalent. This equivalence implies that optimization methods which use the latter matrix, such as the Hessian-free optimization approach of Martens, are actually natural gradient methods in disguise. It also lets us view natural gradient methods as approximate Newton methods, justifying the application of various damping techniques to them, which are designed to compensate for break-downs in local quadratic approximations. Additionally, we analyze the parameterization invariance possessed by the natural gradient method in the idealized setting of infinitesimally small update steps, and consider the extent to which it holds for practical versions of the method which take large discrete steps. We go on to show that parameterization invariance is not possessed by the classical Newton-Raphson method (even in the idealized setting), and then give a general characterization of gradient-based methods which do possess it.

研究动机与目标

• 将自然梯度方法的不同表述形式统一为一个连贯的理论框架。
• 确定 Fisher 信息矩阵与 Schraudolph 的广义高斯-牛顿矩阵相等的条件。
• 确立无 Hessian 优化在伪装下等价于自然梯度方法。
• 分析在使用大步长的实际自然梯度实现中，参数化不变性的程度。
• 表征哪些基于梯度的优化方法保持参数化不变性，与经典牛顿-拉夫森法形成对比。

提出的方法

• 推导出 Fisher 信息矩阵与 Schraudolph 的广义高斯-牛顿矩阵在数学上等价的一般条件。
• 通过识别出的矩阵等价性，将自然梯度方法重新解释为近似牛顿法。
• 将阻尼技术应用于自然梯度方法，其合理性源于其近似牛顿的性质以及局部二次逼近的失效。
• 在无穷小步长的理想极限下，利用微分几何原理分析参数化不变性。
• 在相同理想化设定下，比较自然梯度与经典牛顿-拉夫森方法的不变性特性。
• 基于其 Hessian 近似结构，提供对保持参数化不变性的基于梯度的优化方法的一般表征。

实验结果

研究问题

• RQ1 在何种一般条件下，Fisher 信息矩阵与 Schraudolph 的广义高斯-牛顿矩阵等价？
• RQ2 这些矩阵之间的等价性如何表明无 Hessian 优化是自然梯度方法的一种形式？
• RQ3 自然梯度方法在何种意义上可被解释为近似牛顿法，这对阻尼策略有何影响？
• RQ4 在使用大离散步长的实际自然梯度方法中，参数化不变性在多大程度上成立？
• RQ5 是否存在某些基于梯度的优化方法能保持参数化不变性，它们与经典牛顿-拉夫森法有何不同？

主要发现

• 在一般条件下，Fisher 信息矩阵与 Schraudolph 的广义高斯-牛顿矩阵等价，统一了两种重要的优化框架。
• 由于这种矩阵等价性，Martens 提出的无 Hessian 优化被证明是伪装成自然梯度方法的一种形式。
• 自然梯度方法可被解释为近似牛顿法，从而为使用阻尼技术处理局部二次逼近失效提供了理论依据。
• 在无穷小步长的理想极限下，自然梯度方法保持参数化不变性，但在使用大离散步长的实际实现中该性质被破坏。
• 即使在理想化的无穷小步长设定下，经典牛顿-拉夫森法也不具备参数化不变性。
• 本文为保持参数化不变性的基于梯度的优化方法提供了通用表征，将其与牛顿-拉夫森法区分开来，并凸显了其 Hessian 近似结构上的结构性差异。