[论文解读] Improved stochastic trace estimation using mutually unbiased bases

Jack Fitzsimons, Michael A. Osborne+2 more|arXiv (Cornell University)|Jul 30, 2016

Blind Source Separation Techniques参考文献 1被引用 12

一句话总结

该论文提出了一种基于相互 unbiased 基（MUBs）的新型随机迹估计器，显著降低了对对称半正定矩阵迹估计中单次采样方差。通过利用 MUBs，该方法实现了 worst-case 方差上界 $(n-1)/(n+1)\text{Tr}(A^2)$，在大 $n$ 时相比 Hutchinson 和 Gaussian 估计器的性能提升因子接近 2，同时每条探测向量仅需 $\mathcal{O}(\log n)$ 个随机位。

ABSTRACT

We examine the problem of estimating the trace of a matrix $A$ when given access to an oracle which computes $x^\dagger A x$ for an input vector $x$. We make use of the basis vectors from a set of mutually unbiased bases, widely studied in the field of quantum information processing, in the selection of probing vectors $x$. This approach offers a new state of the art single shot sampling variance while requiring only $O(\log(n))$ random bits to generate each vector. This significantly improves on traditional methods such as Hutchinson's and Gaussian estimators in terms of the number of random bits required and worst case sample variance.

研究动机与目标

• 解决现有大规模矩阵计算中随机迹估计方法存在的高方差和高随机性成本问题。
• 改进迹估计中 worst-case 单次采样方差，尤其适用于隐式或大规模矩阵。
• 减少每条探测向量所需的随机位数，以提升硬件和并行化实现中的效率。
• 在实际问题（如利用矩阵幂的迹进行图中三角形计数）中展示优越性。

提出的方法

• 利用量子信息理论中的相互 unbiased 基（MUBs）作为矩阵迹估计的探测向量。
• 当 $n$ 为素数幂时，从 $\mathbb{C}^n$ 中的 $n+1$ 个相互 unbiased 基中采样向量，确保均匀重叠特性。
• 采用复值探测向量 $\mathbf{x}$，使得 $\mathbb{E}[\mathbf{x}^\dagger A \mathbf{x}] = \text{Tr}(A)$，保持无偏性。
• 推导出单次采样方差为 $\text{V}_{\text{MUBs}}^{\text{worst}} = \frac{n-1}{n+1}\text{Tr}(A^2)$，其界在理论上优于固定基或 Hutchinson 估计器。
• 采用 $\mathcal{O}(n)$ 的高效构造方法生成 MUB 向量，支持实际部署。
• 将估计器应用于计算 $\text{Tr}(A^3)/6$ 以实现图中三角形计数，利用迹-迹恒等式。

实验结果

研究问题

• RQ1 与现有方法相比，相互 unbiased 基是否能降低随机迹估计中的 worst-case 单次采样方差？
• RQ2 与 Gaussian 或 Hutchinson 估计器相比，基于 MUB 的方法生成探测向量所需的随机位数如何随规模变化？
• RQ3 对于对称半正定矩阵，基于 MUB 的估计器的理论 worst-case 方差上界是多少？
• RQ4 在实际应用（如大规模图中的三角形计数）中，基于 MUB 的估计器是否优于经典方法？
• RQ5 基于 MUB 的方法是否能在不牺牲方差性能的前提下显著降低随机性使用？

主要发现

• 基于 MUB 的估计器实现了 worst-case 单次采样方差 $\frac{n-1}{n+1}\text{Tr}(A^2)$，相比任意固定基估计器至少提升 $n-1$ 倍。
• 即使对于非半正定矩阵 $A$，MUB 估计器的 worst-case 方差仍被限制在 $\frac{n}{n+1}\text{Tr}(A^2)$，这是由于 $\text{Tr}(A)^2$ 的非负性。
• 与 Hutchinson 估计器相比，MUB 方法在 worst-case 性能上提升了因子 $\frac{2(n+1)(n-1)}{n^2}$，当 $n$ 较大时接近 2。
• 基于 MUB 的估计器每条探测向量仅需 $\mathcal{O}(\log n)$ 个随机位，相比 Gaussian 或 Hutchinson 方法显著降低了随机性开销。
• 在真实图数据的数值实验中，MUB 估计器在平均绝对相对误差和方差方面均优于 Gaussian、Hutchinson 和单位向量估计器。
• 该方法成功应用于图中三角形计数，其中 $\text{Tr}(A^3)/6$ 被高效估计，且误差更低、随机性更少。