[论文解读] Approximate Joint Matrix Triangularization

Nicolò Colombo, Nikos Vlassis|arXiv (Cornell University)|Jul 2, 2016

Tensor decomposition and applications被引用 4

一句话总结

本文提出了一种针对噪声干扰下可联合对角化矩阵的近似联合矩阵三角化的理论框架，提供了近似三角化器与精确三角化器之间距离的先验与后验扰动界。在低噪声条件下，该框架建立了局部优化算法的全局收敛保证，并推导出张量CP分解的新误差界。

ABSTRACT

We consider the problem of approximate joint triangularization of a set of noisy jointly diagonalizable real matrices. Approximate joint triangularizers are commonly used in the estimation of the joint eigenstructure of a set of matrices, with applications in signal processing, linear algebra, and tensor decomposition. By assuming the input matrices to be perturbations of noise-free, simultaneously diagonalizable ground-truth matrices, the approximate joint triangularizers are expected to be perturbations of the exact joint triangularizers of the ground-truth matrices. We provide a priori and a posteriori perturbation bounds on the `distance' between an approximate joint triangularizer and its exact counterpart. The a priori bounds are theoretical inequalities that involve functions of the ground-truth matrices and noise matrices, whereas the a posteriori bounds are given in terms of observable quantities that can be computed from the input matrices. From a practical perspective, the problem of finding the best approximate joint triangularizer of a set of noisy matrices amounts to solving a nonconvex optimization problem. We show that, under a condition on the noise level of the input matrices, it is possible to find a good initial triangularizer such that the solution obtained by any local descent-type algorithm has certain global guarantees. Finally, we discuss the application of approximate joint matrix triangularization to canonical tensor decomposition and we derive novel estimation error bounds.

研究动机与目标

• 解决在精确三角化因扰动而不可行时，估计噪声干扰下可联合对角化矩阵的联合特征结构的挑战。
• 通过推导先验与后验扰动界，为近似联合三角化器的精度提供理论保证。
• 证明在低噪声水平下，任何在真实解附近初始化的局部下降算法均能实现全局收敛保证。
• 将该框架应用于典型张量分解，并推导新的估计误差界。

提出的方法

• 将近似联合三角化问题表述为在正交群 O(d) 上的非凸优化问题，通过最小化变换后矩阵严格下三角部分的Frobenius范数平方和来实现。
• 采用矩阵指数参数化，将任意近似三角化器 U 表示为精确三角化器 U₀ 的扰动形式：U = U₀e^{αX}，其中 X 为反对称矩阵，α 表征距离。
• 基于真实矩阵与噪声特性推导 α 的先验界，基于输入矩阵的可观测量推导 α 的后验界。
• 分析目标函数的Hessian矩阵以界曲率，并推导出局部优化可获得全局精确解的条件。
• 将扰动理论应用于CP张量分解，推导误差界，建立矩阵三角化与张量估计之间的联系。
• 利用迹与Frobenius范数不等式，界住Hessian矩阵中的交叉项，从而导出扰动效应的紧致上界。

实验结果

研究问题

• RQ1 如何理论上界住近似联合三角化器与噪声扰动矩阵的真实联合三角化器之间的距离？
• RQ2 在何种条件下，近似联合三角化问题的局部优化算法能全局收敛至精确解？
• RQ3 在噪声影响下，变换后矩阵的特征值与真实特征值的偏差如何？
• RQ4 所提出的扰动界能否用于推导典型张量分解中的误差估计？
• RQ5 噪声水平在决定近似三角化精度中起何种作用？

主要发现

• 在弱假设下，基于真实矩阵与噪声水平，推导出近似与精确联合三角化器之间距离 α 的先验扰动界，满足 α ≤ O(σ)。
• 仅使用可观测数据提供后验界，实现无需真实矩阵知识的解质量实用评估。
• 在噪声水平满足特定条件时，任何在真实解附近初始化的局部下降算法均能获得全局收敛保证。
• 特征值估计误差满足 |λ̂ᵢ(Ḿₙ) − λᵢ(Mₙ)| ≤ 2α‖Mₙ‖ + σ‖Wₙ‖ + O(α²)，表明其对扰动与噪声均呈线性依赖。
• 通过迹与范数不等式界住目标函数的Hessian矩阵，获得曲率界，支持在低噪声条件下实现全局收敛。
• 该框架导出典型张量分解的新估计误差界，建立矩阵三角化与张量逼近精度之间的联系。