[论文解读] Geometric Optimization Methods for Adaptive Filtering

Steven T. Smith|arXiv (Cornell University)|May 8, 2013

Advanced Adaptive Filtering Techniques参考文献 27被引用 140

一句话总结

该论文提出在球面、Stiefel流形和Grassmann流形等流形上应用黎曼几何优化方法——特别是黎曼牛顿法和共轭梯度算法——以解决自适应滤波中的特征值和奇异值问题。研究表明，在对称空间上，共轭梯度法具有超线性收敛性，每步计算量为$O(nk^2)$，每步仅需$O(k)$次矩阵-向量乘法，数值实验表明在294维流形上，算法在50次迭代内即可收敛至机器精度。

ABSTRACT

The techniques and analysis presented in this thesis provide new methods to solve optimization problems posed on Riemannian manifolds. These methods are applied to the subspace tracking problem found in adaptive signal processing and adaptive control. A new point of view is offered for the constrained optimization problem. Some classical optimization techniques on Euclidean space are generalized to Riemannian manifolds. Several algorithms are presented and their convergence properties are analyzed employing the Riemannian structure of the manifold. Specifically, two new algorithms, which can be thought of as Newton's method and the conjugate gradient method on Riemannian manifolds, are presented and shown to possess quadratic and superlinear convergence, respectively. These methods are applied to several eigenvalue and singular value problems, which are posed as constrained optimization problems. ...

研究动机与目标

• 为黎曼流形上的约束问题开发高效的优化算法，特别是在自适应信号处理中的应用。
• 将经典的优化技术——牛顿法和共轭梯度法——推广至球面和Stiefel流形等黎曼流形上。
• 通过在Stiefel流形上建立约束优化问题，解决自适应滤波中的子空间追踪问题。
• 在迭代更新过程中保持估计特征向量的正交性，从而保证数值稳定性。
• 评估所提算法在具有不连续变化的时间变矩阵上的收敛性与追踪性能。

提出的方法

• 将特征值与奇异值问题表述为在黎曼流形（特别是球面和Stiefel流形）上的约束优化任务。
• 在球面上对瑞利商应用黎曼牛顿法，证明其具有三阶收敛性，并表明其与瑞利商迭代等价。
• 在对称空间上开发黎曼共轭梯度法，利用测地线流动与平行移动保持流形结构。
• 利用Stiefel流形的齐性空间结构，推导出一种高效算法，每步仅需$O(nk^2)$次运算和$O(k)$次矩阵-向量乘积。
• 在Stiefel流形上使用广义瑞利商作为子空间追踪的代价函数。
• 在时变对称矩阵上实施数值实验，以测试算法在子空间方向与特征值发生突变时的收敛性与追踪行为。

实验结果

研究问题

• RQ1 在球面上对瑞利商进行优化时，黎曼牛顿法是否能实现三阶收敛？其与瑞利商迭代有何关系？
• RQ2 在对称空间上应用黎曼共轭梯度法，是否能实现对对称矩阵的$k$个极端特征向量计算的超线性收敛？
• RQ3 在Stiefel流形上，黎曼共轭梯度法在子空间追踪中的实现效率如何？其计算复杂度是多少？
• RQ4 当子空间经历突变（如旋转至正交平面或从最大值点转变为鞍点）时，该算法的追踪性能如何？
• RQ5 该算法是否能在迭代过程中始终保持估计子空间基的正交性？这对数值稳定性有何影响？

主要发现

• 在球面上对瑞利商应用黎曼牛顿法可实现三阶收敛，且证明瑞利商迭代是该方法的有效近似。
• 在球面上对瑞利商应用黎曼共轭梯度法，可得到一种新算法，用于计算极端特征向量，具有超线性收敛性，且每步仅需$O(n)$次运算。
• 对于Stiefel流形上的$k$-极端特征向量问题，该算法每步需$O(nk^2)$次运算和$O(k)$次矩阵-向量乘法，且在294维流形上，50次迭代内即可收敛至机器精度。
• 数值实验表明，当在子空间发生不连续变化后重置共轭梯度时，算法在20步内即可收敛至机器精度。
• 在子空间旋转且特征值固定或变化的追踪场景中，算法在10至25次迭代内即可实现精确的特征值估计，具体取决于场景。
• 当真实最大值点转变为鞍点时，算法在约15次迭代内仍能保持在解附近，表明其在瞬态条件下的鲁棒性。