[论文解读] Approximating the Little Grothendieck Problem over the Orthogonal and Unitary Groups

Afonso S. Bandeira, Christopher Kennedy+1 more|arXiv (Cornell University)|Aug 23, 2013

Sparse and Compressive Sensing Techniques参考文献 35被引用 10

一句话总结

本文提出正交切割算法（Orthogonal-Cut），一种基于半定规划的近似方法，用于求解正交群与酉群上的小格罗滕迪克问题。该方法在实数情形下达到常数近似比 $\alpha_{\mathbb{R}}(d)^2$，在复数情形下达到 $\alpha_{\mathbb{C}}(d)^2$，其中 $\alpha_{\mathbb{R}}(d)$ 为 $d \times d$ 独立同分布的 $\mathcal{N}(0, \frac{1}{d})$ 高斯矩阵的期望平均奇异值，在 $d=1$ 时恢复经典结果 $2/\pi$。该方法改进了诸如普罗克鲁斯特斯问题等先前问题的近似比，并与整数规划间隙相匹配，表明其具有较强的理论最优性。

ABSTRACT

The little Grothendieck problem consists of maximizing $\sum_{ij}C_{ij}x_ix_j$ over binary variables $x_i\in\{\pm1\}$, where C is a positive semidefinite matrix. In this paper we focus on a natural generalization of this problem, the little Grothendieck problem over the orthogonal group. Given C a dn x dn positive semidefinite matrix, the objective is to maximize $\sum_{ij}Tr (C_{ij}^TO_iO_j^T)$ restricting $O_i$ to take values in the group of orthogonal matrices, where $C_{ij}$ denotes the (ij)-th d x d block of C. We propose an approximation algorithm, which we refer to as Orthogonal-Cut, to solve this problem and show a constant approximation ratio. Our method is based on semidefinite programming. For a given $d\geq 1$, we show a constant approximation ratio of $α_{R}(d)^2$, where $α_{R}(d)$ is the expected average singular value of a d x d matrix with random Gaussian $N(0,1/d)$ i.i.d. entries. For d=1 we recover the known $α_{R}(1)^2=2/π$ approximation guarantee for the classical little Grothendieck problem. Our algorithm and analysis naturally extends to the complex valued case also providing a constant approximation ratio for the analogous problem over the Unitary Group. Orthogonal-Cut also serves as an approximation algorithm for several applications, including the Procrustes problem where it improves over the best previously known approximation ratio of~$\frac1{2\sqrt{2}}$. The little Grothendieck problem falls under the class of problems approximated by a recent algorithm proposed in the context of the non-commutative Grothendieck inequality. Nonetheless, our approach is simpler and it provides a more efficient algorithm with better approximation ratios and matching integrality gaps. Finally, we also provide an improved approximation algorithm for the more general little Grothendieck problem over the orthogonal (or unitary) group with rank constraints.

研究动机与目标

• 将经典的小小格罗滕迪克问题从二值变量推广至正交群与酉群变量。
• 为推广后的问题开发一种高效近似算法，具备可证明的常数近似比。
• 改进普罗克鲁斯特斯问题（作为推广问题的特例）的最佳已知近似比。
• 将分析扩展至问题的秩约束变体，在 $d=1$ 时恢复已知的精确比值。
• 为所提出的松弛问题建立匹配的整数规划间隙，暗示近似比可能具有最优性。

提出的方法

• 该算法采用针对正交与酉群约束量身定制的半定规划松弛。
• 提出一种基于奇异值分解与随机投影的随机化舍入方法，从 SDP 解中提取群元素。
• 关键技术组件是关于独立同分布高斯矩阵奇异值之和的集中不等式，用于界定投影矩阵乘积的期望迹。
• 分析利用了随机矩阵理论的结果，特别是 $d \times d$ 独立同分布 $\mathcal{N}(0, \frac{1}{d})$ 高斯矩阵最小奇异值的期望值。
• 将 Goemans-Williamson 与 Nesterov 的舍入技术推广至矩阵群的非交换设置。
• 对于酉群情形，通过使用复高斯矩阵与厄米特迹目标，将分析扩展至复数情形。

实验结果

研究问题

• RQ1 能否在保持常数近似比的前提下，将经典的小小格罗滕迪克问题从二值变量推广至正交或酉矩阵等矩阵群变量？
• RQ2 利用半定规划松弛，能否实现对 $\mathcal{O}_d$ 上小小格罗滕迪克问题的最优近似比？
• RQ3 所提出的算法是否改进了普罗克鲁斯特斯问题的最佳已知近似比？该问题为推广问题的已知应用实例。
• RQ4 SDP 松弛的整数规划间隙是否可被算法性能所匹配，从而暗示其最优性？
• RQ5 在标准复杂性假设（如唯一对策猜想）下，该近似比是否为紧致的？

主要发现

• 所提出的 Orthogonal-Cut 算法在实正交群情形下实现了常数近似比 $\alpha_{\mathbb{R}}(d)^2$，其中 $\alpha_{\mathbb{R}}(d)$ 为 $d \times d$ 独立同分布 $\mathcal{N}(0, \frac{1}{d})$ entries 的随机矩阵的期望平均奇异值。
• 当 $d=1$ 时，近似比退化为 $2/\pi$，恢复了经典小小格罗滕迪克问题的已知最优界。
• 该算法将普罗克鲁斯特斯问题的最佳已知近似比从 $1/(2\sqrt{2})$ 提升至 $\alpha_{\mathbb{R}}(d)^2$，当 $d \geq 2$ 时严格更优。
• 该方法可自然推广至复酉群情形，实现复数情形下的近似比 $\alpha_{\mathbb{C}}(d)^2$。
• SDP 松弛的整数规划间隙与近似比相匹配，表明所选松弛下的界是紧致的。
• 该分析提供了一个通用框架，可适用于问题的秩约束变体，在 $d=1$ 时恢复精确的 $2/\pi$ 比值。