[论文解读] Co-Occuring Directions Sketching for Approximate Matrix Multiply

Youssef Mroueh, Etienne Marcheret+1 more|arXiv (Cornell University)|Oct 25, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用 5

一句话总结

本文提出共现方向压缩（co-occurring directions sketching），一种用于流式模型中近似矩阵乘法（AMM）的确定性算法。该算法在压缩大小为 $\ell = O(\sqrt{sr(X)sr(Y)}/\varepsilon)$ 时，实现了对最优低秩矩阵乘积的 $(1+\varepsilon)$-近似，其误差界和实际性能在小压缩尺寸下优于随机化和确定性基线方法。

ABSTRACT

We introduce co-occurring directions sketching, a deterministic algorithm for approximate matrix product (AMM), in the streaming model. We show that co-occuring directions achieves a better error bound for AMM than other randomized and deterministic approaches for AMM. Co-occurring directions gives a $1 + ε$ -approximation of the optimal low rank approximation of a matrix product. Empirically our algorithm outperforms competing methods for AMM, for a small sketch size. We validate empirically our theoretical findings and algorithms

研究动机与目标

• 为在内存受限且仅支持单次遍历的流式模型中高效计算近似矩阵乘积提供解决方案。
• 开发一种确定性算法，使其在误差界和 $\varepsilon$ 的压缩大小依赖性方面优于现有的随机化和确定性 AMM 方法。
• 通过利用输入矩阵中潜在的共现方向结构，实现对 $XY^\top$ 的近似矩阵乘积和低秩近似的更紧的谱范数误差保证。
• 通过实证验证，所提方法在合成数据和真实世界多模态数据集上均优于随机化和确定性基线方法。

提出的方法

• 该算法采用受频繁方向法启发的确定性压缩策略，专注于保留矩阵乘积 $XY^\top$ 中共现的主导方向。
• 通过迭代使用秩-1更新规则，联合维护矩阵 $X$ 和 $Y$ 的压缩表示 $B_X$ 和 $B_Y$，以捕捉最重要的相关分量。
• 对压缩乘积 $B_X B_Y^\top$ 的奇异值应用收缩操作，以最小化谱范数误差，从而确保稳定性和准确性。
• 压缩大小 $\ell$ 由 $X$ 和 $Y$ 的稳定秩决定，得到 $\ell = O(\sqrt{sr(X)sr(Y)}/\varepsilon)$，优于随机化方法中 $O(1/\varepsilon^2)$ 的依赖关系。
• 该算法仅需对数据单次遍历，适用于内存占用小的流式应用场景。
• 通过联合追踪 $X$ 和 $Y$ 中的共现方向，将频繁方向方法推广至 AMM 场景，而非仅关注单个矩阵。

实验结果

研究问题

• RQ1 确定性 AMM 算法能否在谱范数下实现优于现有随机化和确定性方法的误差界？
• RQ2 $X$ 和 $Y$ 中主导方向的共现是否能实现比现有方法更优的 $\varepsilon$ 依赖压缩大小？
• RQ3 在合成数据和真实世界多模态数据上，该算法与随机化方法（如采样、随机投影、哈希）和确定性基线（如 FD-AMM）相比表现如何？
• RQ4 在奇异值缓慢衰减的噪声低秩矩阵设置下，该算法是否仍能保持良好性能？
• RQ5 是否存在与理论压缩大小 $\ell$ 相关的误差行为相变现象，且该现象与 $X$ 和 $Y$ 的秩相关？

主要发现

• 共现方向压缩实现了谱范数误差界 $\left\|XY^\top - B_X B_Y^\top\right\| \leq \varepsilon \cdot \text{tr}(X^\top X) \cdot \text{tr}(Y^\top Y)$，且 $\ell = O(\sqrt{sr(X)sr(Y)}/\varepsilon)$，优于随机化方法的 $O(1/\varepsilon^2)$ 依赖关系。
• 实证结果表明，共现方向压缩在误差方面优于随机化基线（采样、随机投影、哈希）和确定性 FD-AMM 基线，尤其在小压缩尺寸下表现更优。
• 当 $\ell$ 超过 $O(\min(rank(X), rank(Y)))$ 时，误差出现相变，其发生时间早于 FD-AMM（后者需 $\ell > O(rank(X) + rank(Y))$ 才能显现类似改进）。
• 在 MS-COCO 数据集上，共现方向压缩的 AMM 误差低于 FD-AMM，表明其在真实世界多模态数据（$m_x=2048$，$m_y=3000$，$n=113,287$）上表现强劲。
• 在噪声低秩设置下，共现方向压缩仍优于 FD-AMM，但差距缩小，表明其对奇异值收缩过程中的噪声具有一定敏感性。
• 该算法的运行时间与采样方法相当，略快于 FD-AMM，且远快于随机投影，因此在流式应用中具有实际可行性。