[论文解读] Follow the Compressed Leader: Faster Online Learning of Eigenvectors and Faster MMWU

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jan 6, 2017

Stochastic Gradient Optimization Techniques被引用 14

一句话总结

本文提出了 Follow-the-Compressed-Leader (FTCL) 框架，这是一种新型在线特征向量计算算法，在对抗性设置下实现了最优的 O(√T) 冗余，且运行时间显著快于以往方法。通过在对抗性设置中将矩阵策略压缩至 3 维，在随机设置中压缩至 1 维，FTCL 在匹配 MMWU 最优冗余的同时，将每次迭代的时间从 O(d^ω) 降低至 O(nnz(A)) 或 O(1)，从而实现了主导特征向量的可扩展在线学习。

ABSTRACT

The online problem of computing the top eigenvector is fundamental to machine learning. In both adversarial and stochastic settings, previous results (such as matrix multiplicative weight update, follow the regularized leader, follow the compressed leader, block power method) either achieve optimal regret but run slow, or run fast at the expense of loosing a $\sqrt{d}$ factor in total regret where $d$ is the matrix dimension. We propose a $ extit{follow-the-compressed-leader (FTCL)}$ framework which achieves optimal regret without sacrificing the running time. Our idea is to "compress" the matrix strategy to dimension 3 in the adversarial setting, or dimension 1 in the stochastic setting. These respectively resolve two open questions regarding the design of optimal and efficient algorithms for the online eigenvector problem.

研究动机与目标

• 设计一种在线特征向量算法，实现最优冗余而不牺牲计算效率。
• 解决在对抗性在线特征向量问题中实现最优冗余与快速运行时间的开放问题。
• 将该结果扩展至随机设置，目标是在保持快速收敛的同时最小化冗余。
• 为对抗性和随机设置下的冗余与收敛速率提供理论保证。
• 证明所提出方法在冗余和时间复杂度方面均优于现有方法（如 MMWU 和 FTPL）。

提出的方法

• 提出 Follow-the-Compressed-Leader (FTCL) 框架，将矩阵策略压缩至低维表示：在对抗性设置中为 3 维，在随机设置中为 1 维。
• 通过随机投影进行压缩，以压缩 MMWU 类似更新中的矩阵指数，降低维度的同时保持冗余保证。
• 在压缩空间中使用线性系统求解（Mlin）或特征向量计算（Mev），实现每次迭代 O(nnz(A)) 或 O(1) 的时间复杂度。
• 应用 Johnson-Lindenstrauss 类型压缩，降低矩阵策略的有效维度，确保冗余损失有界。
• 利用尾部概率不等式和 Lieb-Thirring 不等式分析压缩矩阵的集中性，确保高概率下的冗余边界。
• 引入一种新颖的分析技术，结合迹不等式与卡方尾部概率不等式，将压缩策略的性能与真实最优特征向量关联起来。

实验结果

研究问题

• RQ1 我们能否在对抗性在线特征向量问题中实现最优的 O(√T) 冗余，同时保持次立方时间复杂度？
• RQ2 是否可能设计一种快速算法用于在线特征向量学习，其冗余与 MMWU 相当，且无需昂贵的特征分解？
• RQ3 在不同数据环境下，FTCL 与 FTPL 和 MMWU 在冗余和运行时间方面的性能如何比较？
• RQ4 压缩策略能否扩展至随机设置，以实现最优冗余且计算开销最小化？
• RQ5 随机在线特征向量学习的冗余理论下界是什么？FTCL 是否达到了该下界？

主要发现

• FTCL 在对抗性和随机设置下均实现了最优的 O(√T) 冗余，与理论下界仅相差常数因子。
• FTCL 的每次迭代时间复杂度为 O(nnz(A)) 或 O(1)，显著快于 MMWU 的 O(d^ω) 时间复杂度。
• 在随机设置下，FTCL 实现 ε-平均冗余的总时间为 O(1/ε²)，优于以往方法的 O(1/ε^3.5) 时间复杂度。
• 该方法解决了实现最优冗余与快速运行时间的开放问题，填补了 FTPL 和 MMWU-JL 等先前方法留下的空白。
• 理论分析确认，FTCL 的冗余以高概率被限制在 O(√T) 以内，且对噪声和秩-1 反馈矩阵具有鲁棒性。
• 在随机设置下建立了 Ω(√(λT)) 的下界，FTCL 的性能与该下界仅相差对数因子。