[论文解读] Near-Optimal Algorithms for Online Matrix Prediction

Elad Hazan, Satyen Kale+1 more|arXiv (Cornell University)|Mar 31, 2012

Optimization and Search Problems参考文献 2被引用 39

一句话总结

本文引入了一种新颖的矩阵分解性质，称为 $(\beta,\tau)$-可分解性，使得结构化矩阵预测问题能够实现高效在线学习算法，并获得近乎最优的遗憾界。该方法在在线最大割、赌博和协同过滤问题中实现了 $\tilde{O}(\sqrt{\beta\tau T})$ 的遗憾界，解决了这些场景下长期存在的计算效率与最优性方面的开放问题。

ABSTRACT

In several online prediction problems of recent interest the comparison class is composed of matrices with bounded entries. For example, in the online max-cut problem, the comparison class is matrices which represent cuts of a given graph and in online gambling the comparison class is matrices which represent permutations over n teams. Another important example is online collaborative filtering in which a widely used comparison class is the set of matrices with a small trace norm. In this paper we isolate a property of matrices, which we call (beta,tau)-decomposability, and derive an efficient online learning algorithm, that enjoys a regret bound of O*(sqrt(beta tau T)) for all problems in which the comparison class is composed of (beta,tau)-decomposable matrices. By analyzing the decomposability of cut matrices, triangular matrices, and low trace-norm matrices, we derive near optimal regret bounds for online max-cut, online gambling, and online collaborative filtering. In particular, this resolves (in the affirmative) an open problem posed by Abernethy (2010); Kleinberg et al (2010). Finally, we derive lower bounds for the three problems and show that our upper bounds are optimal up to logarithmic factors. In particular, our lower bound for the online collaborative filtering problem resolves another open problem posed by Shamir and Srebro (2011).

研究动机与目标

• 解决结构化矩阵预测问题中缺乏高效且近乎最优的在线学习算法的问题，尤其针对有界元素或低秩比较类的情况。
• 解决在线最大割和在线赌博中的开放问题，此前的算法要么效率低下，要么缺乏最优遗憾保证。
• 为带有迹范数约束的在线协同过滤提供统一框架，即使底层离线问题是 NP-难的，也能实现近乎最优的遗憾界。
• 建立矩阵谱性质与高效在线学习之间的联系，证明即使这种联系不明显，谱分析也能实现紧致的遗憾界。
• 通过证明在对数因子范围内接近最优，弥合结构化矩阵预测中已知上界与下界之间的差距。

提出的方法

• 将 $(\beta,\tau)$-可分解性定义为矩阵的一种结构性质：若矩阵 $\mathbf{W}$ 的对称化形式可表示为 $\mathbf{P} - \mathbf{N}$，其中 $\mathbf{P}, \mathbf{N}$ 为半正定矩阵，且满足 $\mathrm{Tr}(\mathbf{P}), \mathrm{Tr}(\mathbf{N}) \leq \tau$，同时对角线元素有界于 $\beta$，则称 $\mathbf{W}$ 为 $(\beta,\tau)$-可分解的。
• 应用带矩阵指数 Bregman 散度的 Follow-The-Regularized-Leader (FTRL) 框架，推导出任意 $(\beta,\tau)$-可分解比较类的遗憾界为 $\tilde{O}(\sqrt{\beta\tau T})$。
• 采用对偶优化方法高效计算矩阵更新：每轮仅需求解一个仅含四个约束的低维对偶问题，从而实现每轮迭代时间复杂度为 $\tilde{O}(p^3)$。
• 在每轮中构造一个单纯形 $\mathcal{K}_t$，以捕捉基于当前索引对 $(i_t, j_t)$ 的活动约束，确保最优解位于其中。
• 利用 Golden-Thompson 不等式来界定矩阵指数的迹，从而为对偶变量设定有限范围，使通过椭球法实现高效凸优化成为可能。
• 将该方法应用于三个问题：在线最大割、基于排列的在线赌博，以及迹范数约束下的在线协同过滤，推导出各问题的特定遗憾界。

实验结果

研究问题

• RQ1 能否为具有结构化比较类（如割、排列和低秩矩阵）的在线矩阵预测问题开发统一框架？
• RQ2 尽管对应离线问题为 NP-难，是否仍能通过高效算法实现在线最大割和在线赌博的近乎最优遗憾界？
• RQ3 能否以对数因子范围内的最优遗憾界，高效求解基于迹范数的协同过滤问题？
• RQ4 何种矩阵结构性质使得这些问题中能够实现高效在线学习并获得紧致的遗憾保证？
• RQ5 能否通过基于谱的分解方法，弥合结构化矩阵预测中已知上界与下界之间的差距？

主要发现

• 本文为在线最大割问题建立了 $\tilde{O}(\sqrt{n \log n \, T})$ 的遗憾界，该结果近乎最优，且是首个实现此类界限的高效算法。
• 对于在线赌博问题，该算法实现了 $\tilde{O}(\sqrt{n \log^3 n \, T})$ 的遗憾界，解决了 Abernethy（2010）和 Kleinberg 等人（2010）提出的开放问题，并表明尽管离线反馈弧集问题是 NP-难的，该问题仍具有可解性。
• 对于迹范数约束 $\|\mathbf{W}\|_* \leq \tau$ 的在线协同过滤问题，该算法实现了 $\tilde{O}(\sqrt{\tau \sqrt{n} \log n \, T})$ 的遗憾界，该结果在对数因子范围内近乎最优。
• 本文证明了在线协同过滤的下界，其与上界仅相差对数因子，从而解决了 Shamir 和 Srebro（2011）提出的另一个开放问题。
• $(\beta,\tau)$-可分解性框架在割矩阵、三角矩阵和低迹范数矩阵上均被证明是紧致的，验证了其通用性与强大表现力。
• 该方法通过每轮仅含四个约束的对偶问题实现高效计算，结合对数迭代次数的凸优化技术，使每轮迭代时间复杂度为 $\tilde{O}(p^3)$。