[论文解读] A convergent hierarchy of non-linear eigenproblems to compute the joint spectral radius of nonnegative matrices

Stéphane Gaubert, Nikolas Stott|arXiv (Cornell University)|May 8, 2018

Advanced Optimization Algorithms Research被引用 12

一句话总结

该论文提出了一种收敛的非线性特征值问题层次结构，用于计算非负矩阵的联合谱半径（JSR），通过投影Krasnoselskii-Mann迭代高效求解特征值问题。该方法提供收敛至真实JSR的上界，即使在大规模矩阵（最大尺寸5000）下也能实现可扩展计算，且对矩阵维度的依赖性极低，优于先前基于SDP的方法。

ABSTRACT

We show that the joint spectral radius of a finite collection of nonnegative matrices can be bounded by the eigenvalue of a non-linear operator. This eigenvalue coincides with the ergodic constant of a risk-sensitive control problem, or of an entropy game, in which the state space consists of all switching sequences of a given length. We show that, by increasing this length, we arrive at a convergent approximation scheme to compute the joint spectral radius. The complexity of this method is exponential in the length of the switching sequences, but it is quite insensitive to the size of the matrices, allowing us to solve very large scale instances (several matrices in dimensions of order 1000 within a minute). An idea of this method is to replace a hierarchy of optimization problems, introduced by Ahmadi, Jungers, Parrilo and Roozbehani, by a hierarchy of nonlinear eigenproblems. To solve the latter eigenproblems, we introduce a projective version of Krasnoselskii-Mann iteration. This method is of independent interest as it applies more generally to the nonlinear eigenproblem for a monotone positively homogeneous map. Here, this method allows for scalability by avoiding the recourse to linear or semidefinite programming techniques.

研究动机与目标

• 开发一种可扩展且收敛的方法，用于计算非负矩阵的联合谱半径，克服基于网格和半定规划（SDP）方法的局限性。
• 用收敛至真实JSR的非线性特征值问题层次结构，替代先前的多面体或SDP近似方案。
• 通过将复杂度与矩阵维度解耦并避免昂贵的SDP求解，实现对大矩阵（例如1000–5000维）的高效计算。
• 通过单调、正 homogeneous 的动态规划算子，建立JSR计算、风险敏感控制与熵博弈之间的联系。
• 为现有方法提供一种数值稳定且可扩展的替代方案，尤其适用于仅需单调范数即可满足需求的非负矩阵。

提出的方法

• 该方法构建了一个由深度参数d参数化的非线性特征值问题层次结构，其中每个层级d均提供联合谱半径的上界。
• 每个特征值问题源于与长度为d的切换序列相关的风险敏感控制问题或熵博弈的动态规划算子。
• 通过投影版本的Krasnoselskii-Mann迭代计算非线性特征值，该方法适用于单调、正 homogeneous 映射。
• 每个层级的特征向量编码了一个单调λ-极值范数，表示为线性形式的上确界，形成多面体逼近。
• 该算法通过在投影度量中依赖迭代定点更新，避免了线性或半定规划，确保在对数凸性和非扩张性条件下的收敛性。
• 该方法使用OCaml实现，采用10−6的停止准则，通常在50次迭代内完成收敛。

实验结果

研究问题

• RQ1 能否构建一个收敛的非线性特征值问题层次结构，以计算非负矩阵的联合谱半径？
• RQ2 投影Krasnoselskii-Mann迭代是否能提供一种可扩展且收敛的方法，用于求解这些非线性特征值问题？
• RQ3 该方法能否在保持高效性的同时，对大矩阵（例如1000–5000维）实现高精度计算，且与矩阵维度无关？
• RQ4 在唯一谱最大乘积具有唯一主导特征值的假设下，该层次结构是否精确？
• RQ5 与先前基于SDP或多面体的方法相比，该方法在可扩展性和精度方面表现如何？

主要发现

• 随着深度d的增加，非线性特征值问题的层次结构收敛至真实的联合谱半径，在5×5矩阵对中d=7时已观察到收敛。
• 对于5×5矩阵对，该方法在d=7时精确恢复了JSR值2.0273，相对误差降至0.0%。
• 计算时间随深度d呈指数增长，但保持可管理范围：在5×5情况下，d=7时为0.7秒，d=9时为1.12秒。
• 对于1000维矩阵，该方法在3分钟内完成JSR计算（d=3时为2.7分钟），展现出良好的可扩展性。
• 在5000维矩阵下，该方法在d=3时耗时约3.3小时，表明对极大规模实例的可行性。
• 该方法通过避免昂贵的半定规划，优于先前基于SDP的方法，在大规模问题上实现了更快的计算速度。