[论文解读] Follow the Compressed Leader: Faster Algorithms for Matrix Multiplicative Weight Updates.

Zeyuan Allen Zhu, Yuanzhi Li|arXiv (Cornell University)|Jan 6, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用 5

一句话总结

本文提出了 Followed-the-Compressed-Leader (FTCL) 框架，通过在对抗性设置下将矩阵指数计算压缩至3维、在随机设置下压缩至1维，加速了矩阵乘法权重更新。该方法实现了近乎最优的遗憾（与 MMWU 的理论界限一致），同时运行速度优于先前的 FTPL 方法，解决了关于高效、最优在线特征向量算法的长期开放问题。

ABSTRACT

Matrix multiplicative weight update (MMWU) is an extremely powerful algorithmic tool for computer science and related fields. However, it comes with a slow running time due to the matrix exponential and eigendecomposition computations. For this reason, many researchers studied the followed-the-perturbed-leader (FTPL) framework which is faster, but a factor $\sqrt{d}$ worse than the optimal regret of MMWU for dimension-$d$ matrices. In this paper, we propose a $ extit{followed-the-compressed-leader}$ framework which, not only matches the optimal regret of MMWU (up to polylog factors), but runs $ extit{even faster}$ than FTPL. Our main idea is to compress the matrix exponential computation to dimension 3 in the adversarial setting, or dimension 1 in the stochastic setting. This result resolves an open question regarding how to obtain both (nearly) optimal and efficient algorithms for the online eigenvector problem.

研究动机与目标

• 解决由于昂贵的矩阵指数和特征分解运算导致的矩阵乘法权重更新（MMWU）效率低下问题。
• 克服 Follow-the-Perturbed-Leader（FTPL）框架的性能差距，该框架在 d 维矩阵下比最优遗憾慢 √d。
• 开发一种新算法框架，实现在线特征向量问题中近乎最优的遗憾和更优的运行时间效率。
• 解决一个开放问题：是否存在一种高效算法，能够匹配 MMWU 的最优遗憾，而无需承担高昂的计算成本。

提出的方法

• 提出一种新颖的 Followed-the-Compressed-Leader（FTCL）框架，降低矩阵指数计算的有效维度。
• 在对抗性设置下，将矩阵指数计算压缩至维度 3，显著降低计算开销。
• 在随机设置下，将计算压缩至维度 1，进一步加速算法。
• 利用低秩近似和结构化矩阵压缩技术，在保持遗憾保证的同时提升运行效率。
• 采用一种新颖的分析技术，证明压缩计算可将原始 MMWU 的遗憾界保持在多对数因子范围内。
• 将压缩更新规则集成到在线学习框架中，确保在对抗性和随机条件下具备稳定性与收敛性。

实验结果

研究问题

• RQ1 我们能否设计一种矩阵乘法权重更新算法，实现近乎最优的遗憾，同时显著快于现有方法？
• RQ2 是否可能将矩阵指数计算压缩至低维子空间，而不会牺牲遗憾性能？
• RQ3 是否存在一种框架，能够结合 MMWU 的遗憾最优性与 FTPL 的效率？
• RQ4 在对抗性与随机设置下，能否分别将矩阵指数计算的维度降低至 1 或 3，同时保持理论保证？
• RQ5 在实际与理论上，所提出的 FTCL 框架相较于 MMWU 和 FTPL 的性能与遗憾表现如何？

主要发现

• FTCL 框架实现的遗憾与 MMWU 的最优遗憾仅相差多对数因子，解决了关键的理论缺口。
• 该算法运行速度优于 FTPL 框架，后者虽曾提供加速，但需承担 √d 的遗憾惩罚。
• 通过在对抗性设置下将矩阵指数计算压缩至维度 3，该方法在不牺牲遗憾性能的前提下降低了计算复杂度。
• 在随机设置下，压缩至维度 1 进一步提升了效率，同时保持了最优遗憾保证。
• 该框架为实现在线特征向量学习中最优遗憾与高效率的统一提供了完整解决方案。
• 理论分析证实，低维压缩可保持在线学习应用所必需的收敛性与稳定性特性。