[论文解读] Hamilton-Jacobi equations for finite-rank matrix inference

Jean-Christophe Mourrat|arXiv (Cornell University)|Apr 10, 2019

Stochastic Gradient Optimization Techniques参考文献 14被引用 9

一句话总结

该论文通过推导极限自由能的哈密顿-雅可比方程，建立了有限秩矩阵推断中自由能的大N极限。证明了 annealed 自由能收敛于具有凸哈密顿量的非线性 HJ 方程的唯一弱解，且在紧致时间区间上，$ L^1 $ 范数下的收敛速率为 $ O(1/\log N) $。

ABSTRACT

We compute the large-scale limit of the free energy associated with the problem of inference of a finite-rank matrix. The method follows the principle put forward in arXiv:1811.01432 which consists in identifying a suitable Hamilton-Jacobi equation satisfied by the limit free energy. We simplify the approach of arXiv:1811.01432 using a notion of weak solution of the Hamilton-Jacobi equation which is more convenient to work with and is applicable whenever the non-linearity in the equation is convex.

研究动机与目标

• 计算有限秩矩阵推断问题中自由能的大尺度极限。
• 建立极限自由能与具有凸非线性的哈密顿-雅可比方程之间的联系。
• 通过引入更适合凸哈密顿-雅可比方程的弱解概念，简化先前的方法。
• 证明 annealed 自由能在紧致时间区间上以几乎必然的 $ L^1 $ 范数收敛于 HJ 方程的解。

提出的方法

• 通过添加辅助观测 $ Y' = \overline{x}\sqrt{h} + z $ 来构造增强的吉布斯测度，以保持推断结构。
• 定义增强的能量函数 $ H_N(t,h,x) $，其在 $ x $ 上包含二次项和线性项，以建模联合后验分布。
• 推导出在 $ \mathbb{R}_+ \times S^K_+ $ 上的哈密顿-雅可比方程 $ \partial_t f - 2|\nabla f|^2 = 0 $，初始条件为 $ f(0,h) = \psi(h) $。
• 采用专为凸哈密顿量设计的弱解概念，相较于先前方法简化了分析。
• 通过自由能的光滑化版本应用扰动论证，并估计 $ F_N $ 与其期望 $ \overline{F}_N $ 之间的差异。
• 采用时间正则化与能量耗散论证，以控制自由能的梯度并推导收敛性。

实验结果

研究问题

• RQ1 在有限秩矩阵推断中，annealed 自由能是否在 $ N \to \infty $ 时收敛于确定性极限？
• RQ2 极限自由能是否可表征为哈密顿-雅可比方程的解？
• RQ3 自由能收敛于其极限的速率是否可被定量界定？若是，其速率为何？
• RQ4 通过使用适配于凸哈密顿量的弱解概念，能否简化分析？

主要发现

• 极限自由能 $ f(t,h) $ 是哈密顿-雅可比方程 $ \partial_t f - 2|\nabla f|^2 = 0 $ 的唯一弱解，初始条件为 $ f(0,h) = \psi(h) $。
• 对每个 $ M \geq 1 $，在 $ t \in [0,M] $ 且 $ |h| \leq M $ 的范围内，annealed 自由能 $ \overline{F}_N $ 与解 $ f $ 的 $ L^1 $-范数之差被有界于 $ C / \log N $。
• 收敛速率 $ O(1/\log N) $ 在紧致时间区间和有界 $ h $ 区域上是一致的。
• 使用适配于凸哈密顿-雅可比方程的弱解概念，使分析更加简化且更具鲁棒性，相较于早期方法。
• 该方法通过在包含辅助高斯变量的更大空间中嵌入问题，成功处理了自由能中的非线性。