[论文解读] Beyond Pham's algorithm for joint diagonalization

Pierre Ablin, J.-F. Cardoso+1 more|arXiv (Cornell University)|Nov 28, 2018

Blind Source Separation Techniques参考文献 8被引用 7

一句话总结

该论文提出了一种新颖的拟牛顿方法，用于对称矩阵的近似联合对角化，采用稀疏海森矩阵逼近，当矩阵为对角矩阵时，该逼近与真实海森矩阵完全匹配。该方法在合成数据和真实MEG数据的数值实验中，收敛速度比Pham的算法快一个数量级，每轮迭代的计算成本为O(np²)，在最优解附近呈现二次收敛。

ABSTRACT

The approximate joint diagonalization of a set of matrices consists in finding a basis in which these matrices are as diagonal as possible. This problem naturally appears in several statistical learning tasks such as blind signal separation. We consider the diagonalization criterion studied in a seminal paper by Pham (2001), and propose a new quasi-Newton method for its optimization. Through numerical experiments on simulated and real datasets, we show that the proposed method outper-forms Pham's algorithm. An open source Python package is released.

研究动机与目标

• 解决近似联合对角化任务中对更快、更高效优化的需求，该任务在盲源分离和统计学习中至关重要。
• 通过引入稀疏海森矩阵逼近，克服牛顿型方法的高计算成本（需求解O(p⁴)个系统）。
• 改进Pham的块坐标下降算法，该算法虽能收敛，但在噪声或非精确可对角化集合上实际运行速度较慢。
• 开发一种方法，在保持最优解附近二次收敛的同时，实现与问题规模的高效扩展。
• 提供一种实用的开源实现，便于在信号处理和机器学习应用中使用。

提出的方法

• 通过B ← (I + 𝔼)B的相对更新方式在可逆矩阵B上操作，以利用优化流形的群结构。
• 从Pham准则L(B)的二阶泰勒展开中推导出相对梯度G和相对海森矩阵𝒫。
• 使用仅依赖于Dⁱ = B Cⁱ Bᵀ的对角元素的稀疏、结构化形式来逼近海森张量𝒫，将计算量降低至O(np²)。
• 构建海森逆逼近𝒫⁺，通过涉及Γ_ab = (1/n)Σᵢ Dⁱ_bb / Dⁱ_aa的闭式解，实现快速搜索方向计算。
• 使用回溯线搜索确保每一步中目标函数充分下降，尽管采用拟牛顿逼近，仍能保证全局收敛。
• 利用当矩阵集合恰好可联合对角化时，海森逼近变为精确这一事实，从而在解附近实现二次收敛。

实验结果

研究问题

• RQ1 能否设计一种用于联合对角化的拟牛顿方法，使其收敛速度优于Pham的算法，同时保持较低的每轮迭代成本？
• RQ2 在可联合对角化情况下与真实海森矩阵一致的稀疏海森逼近，是否能保持二次收敛特性？
• RQ3 所提出的方法能否在保持实用性的同时，高效扩展至大p值，避免全海森逆的O(p⁶)成本？
• RQ4 在真实世界数据（如MEG信号）上，该方法表现如何，其中精确联合对角化不可实现？
• RQ5 与Pham的算法相比，噪声对收敛速度和最终性能的影响如何？

主要发现

• 在合成数据和真实MEG数据集上，所提出的拟牛顿方法收敛速度比Pham的算法快约一个数量级。
• 在完全可联合对角化的合成数据集上（σ = 0），两种方法均表现出二次收敛，与理论预期一致。
• 在存在噪声（σ = 0.1）和真实MEG数据上，收敛速度降至线性，如预期，但所提方法仍显著快于Pham的算法。
• 当集合可联合对角化时，海森逼近是精确的，确保该方法在该区域内继承牛顿法的二次收敛速率。
• 该方法每轮迭代成本为O(np²)，与问题的自然复杂度一致，支持扩展至更大的p值。
• 已发布一个开源Python包，便于复现，并可轻松集成到信号处理和机器学习的下游应用中。