[论文解读] Distributed estimation of the inverse Hessian by determinantal averaging

Michał Dereziński, Michael W. Mahoney|arXiv (Cornell University)|May 28, 2019

Statistical Mechanics and Entropy参考文献 27被引用 3

一句话总结

本文提出行列式平均（determinantal averaging），一种新颖的方法，用于校正分布式牛顿法中逆海森矩阵估计的反演偏差。通过利用每个局部估计的行列式对局部逆海森矩阵估计进行重加权并取平均，该方法实现了渐近一致性，确保随着分区数增加，估计结果收敛至真实牛顿步长。主要贡献在于提出了一种理论基础坚实、通信高效的分布式牛顿法，具备有限样本浓度保证。

ABSTRACT

In distributed optimization and distributed numerical linear algebra, we often encounter an inversion bias: if we want to compute a quantity that depends on the inverse of a sum of distributed matrices, then the sum of the inverses does not equal the inverse of the sum. An example of this occurs in distributed Newton's method, where we wish to compute (or implicitly work with) the inverse Hessian multiplied by the gradient. In this case, locally computed estimates are biased, and so taking a uniform average will not recover the correct solution. To address this, we propose determinantal averaging, a new approach for correcting the inversion bias. This approach involves reweighting the local estimates of the Newton's step proportionally to the determinant of the local Hessian estimate, and then averaging them together to obtain an improved global estimate. This method provides the first known distributed Newton step that is asymptotically consistent, i.e., it recovers the exact step in the limit as the number of distributed partitions grows to infinity. To show this, we develop new expectation identities and moment bounds for the determinant and adjugate of a random matrix. Determinantal averaging can be applied not only to Newton's method, but to computing any quantity that is a linear tranformation of a matrix inverse, e.g., taking a trace of the inverse covariance matrix, which is used in data uncertainty quantification.

研究动机与目标

• 解决分布式矩阵求逆估计中的反演偏差问题，即局部逆矩阵的平均不等于平均矩阵的逆。
• 开发一种通信高效的分布式牛顿法，避免在各节点之间合并大型矩阵。
• 为基于行列式加权平均的分布式牛顿步长收敛性提供理论保证。
• 建立随机矩阵的行列式与伴随矩阵的新浓度不等式，以支持有限样本分析。

提出的方法

• 提出行列式平均：对局部逆海森矩阵估计进行加权平均，其中权重为各局部海森矩阵估计的行列式。
• 利用恒等式 H⁻¹ = E[det(Ĥ)Ĥ⁻¹] / E[det(Ĥ)] 来证明权重方案的合理性。
• 应用大数定律，证明加权平均以概率1收敛至真实逆海森矩阵。
• 在秩1、半正定扰动条件下，推导出随机矩阵行列式与伴随矩阵的新矩阵浓度界。
• 基于随机矩阵行列式的新型矩不等式，建立行列式平均收敛速度的高概率边界。
• 在分布式牛顿法中应用该方法，将牛顿步长估计为局部步长的加权平均，权重与局部海森矩阵的行列式成正比。

实验结果

研究问题

• RQ1 我们能否通过一个合理的加权方案，校正分布式矩阵求逆估计中的反演偏差？
• RQ2 行列式平均是否能为分布式优化中的逆海森矩阵提供渐近一致的估计器？
• RQ3 对于逆矩阵的行列式平均，可以建立哪些有限样本浓度保证？
• RQ4 该方法是否可推广至牛顿法之外的其他逆矩阵线性函数，如迹估计？
• RQ5 为建立随机矩阵行列式与伴随矩阵的收敛性保证，需要哪些新型矩不等式？

主要发现

• 行列式平均是首个已知的、在分区数趋于无穷时渐近一致收敛至精确牛顿步长的分布式牛顿步长方法。
• 该方法实现了高概率收敛：以至少 1−δ 的概率，逆海森矩阵估计的行列式平均位于真实逆海森矩阵的 (1±η/√m) 因子范围内。
• 在海森矩阵与采样参数满足适当条件时，牛顿步长的有限样本误差界为 O(η/√m)，其中 m 为分布式机器数量。
• 本文建立了随机矩阵行列式与伴随矩阵的新矩不等式，其本身在随机矩阵理论中具有独立研究价值。
• 该方法通过允许每个节点仅计算局部逆海森矩阵估计并仅传输 O(d) 个参数，实现了通信高效的分布式优化。
• 该方法可推广至任意逆矩阵的线性泛函，例如用于不确定性量化中的逆协方差矩阵的迹。