[논문 리뷰] Approximating the Little Grothendieck Problem over the Orthogonal and Unitary Groups

Afonso S. Bandeira, Christopher Kennedy외 1명|arXiv (Cornell University)|2013. 08. 23.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 10

한 줄 요약

이 논문은 실수 및 복소수 직교군과 유니터리 군에 대한 작은 그로텐디크 문제를 위한, 준정방행렬계획법 기반의 근사 방법인 Orthogonal-Cut 알고리즘을 제안한다. 실수 케이스의 경우 상수 근사비 $α_{Σ}(d)^2$를 달성하고, 복소수 케이스의 경우 $α_{Σ}(d)^2$를 달성한다. 여기서 $α_{Σ}(d)$는 i.i.d. $χ(0, \frac{1}{d})$ 분포를 가진 $d \times d$ 랜덤 가우시안 행렬의 평균 특이값의 기대값이며, $d=1$일 경우 고전적인 $2/\pi$ 비율을 회복한다. 이 방법은 프로크루스테스 문제와 같은 문제들에 대해 이전의 근사비를 향상시키며, 정수화 갭과 일치함으로써 이론적으로 최적임을 시사한다.

ABSTRACT

The little Grothendieck problem consists of maximizing $\sum_{ij}C_{ij}x_ix_j$ over binary variables $x_i\in\{\pm1\}$, where C is a positive semidefinite matrix. In this paper we focus on a natural generalization of this problem, the little Grothendieck problem over the orthogonal group. Given C a dn x dn positive semidefinite matrix, the objective is to maximize $\sum_{ij}Tr (C_{ij}^TO_iO_j^T)$ restricting $O_i$ to take values in the group of orthogonal matrices, where $C_{ij}$ denotes the (ij)-th d x d block of C. We propose an approximation algorithm, which we refer to as Orthogonal-Cut, to solve this problem and show a constant approximation ratio. Our method is based on semidefinite programming. For a given $d\geq 1$, we show a constant approximation ratio of $α_{R}(d)^2$, where $α_{R}(d)$ is the expected average singular value of a d x d matrix with random Gaussian $N(0,1/d)$ i.i.d. entries. For d=1 we recover the known $α_{R}(1)^2=2/π$ approximation guarantee for the classical little Grothendieck problem. Our algorithm and analysis naturally extends to the complex valued case also providing a constant approximation ratio for the analogous problem over the Unitary Group. Orthogonal-Cut also serves as an approximation algorithm for several applications, including the Procrustes problem where it improves over the best previously known approximation ratio of~$\frac1{2\sqrt{2}}$. The little Grothendieck problem falls under the class of problems approximated by a recent algorithm proposed in the context of the non-commutative Grothendieck inequality. Nonetheless, our approach is simpler and it provides a more efficient algorithm with better approximation ratios and matching integrality gaps. Finally, we also provide an improved approximation algorithm for the more general little Grothendieck problem over the orthogonal (or unitary) group with rank constraints.

연구 동기 및 목표

• 이중 변수에서 직교군 및 유니터리 군 변수로 고전적인 작은 그로텐디크 문제를 일반화하는 것.
• 증명 가능 상수 근사비를 갖는 효율적인 근사 알고리즘을 제안하는 것.
• 이 일반화된 문제의 특수 케이스인 프로크루스테스 문제에 대해 가장 잘 알려진 근사비를 향상시키는 것.
• 문제의 질량 제약 조건이 있는 변형에 분석을 확장하여 $d=1$일 때 기존에 알려진 정확한 비율을 회복하는 것.
• 제안된 풀이의 정수화 갭을 일치시키며, 근사비의 잠재적 최적성을 시사하는 것.

제안 방법

• 직교 및 유니터리 군 제약 조건에 맞춘 준정방행렬계획법 풀이를 사용한다.
• SDP 해에서 군 원소를 추출하기 위해 특이값 분해와 무작위 투영 기반의 무작위 라운딩 절차를 도입한다.
• 핵심 기술적 구성 요소는 랜덤 가우시안 행렬의 특이값 합에 대한 농도 부등식으로, 투영된 행렬의 곱의 기대값을 제한한다.
• 특히 i.i.d. $χ(0, \frac{1}{d})$ 분포를 가진 $d \times d$ 가우시안 행렬의 최소 특이값의 기대값에 관한 결과를 활용하여 분석한다.
• 비가환 행렬군의 설정으로 일반화된 고멘스-윌리엄슨 및 네스터프 라운딩 기법을 적용한다.
• 유니터리 케이스의 경우, 복소수 가우시안 행렬과 헤르미트 추적 목표 함수를 사용하여 분석을 확장한다.

실험 결과

연구 질문

• RQ1 고전적인 작은 그로텐디크 문제를 이진 변수에서 직교 또는 유니터리 행렬 변수로 일반화할 수 있으며, 이때도 상수 근사비를 유지할 수 있는가?
• RQ2 준정방행렬계획법 풀이를 사용하여 $Σ_d$에서의 작은 그로텐디크 문제에 대해 달성 가능한 최적의 근사비는 무엇인가?
• RQ3 제안된 알고리즘이 프로크루스테스 문제의 가장 잘 알려진 근사비를 향상시키는가? 이는 이 일반화된 문제의 알려진 응용 사례이다.
• RQ4 SDP 풀이의 정수화 갭이 알고리즘의 성능과 일치하는가? 이는 최적성의 가능성을 시사한다.
• RQ5 유일한 게임 추측과 같은 표준 복잡도 가정 하에 근사비가 날카로운가?

주요 결과

• 제안된 Orthogonal-Cut 알고리즘은 실수 직교군 케이스에서 $\alpha_{Σ}(d)^2$의 상수 근사비를 달성한다. 여기서 $\alpha_{Σ}(d)$는 i.i.d. $χ(0, \frac{1}{d})$ 분포를 가진 $d \times d$ 랜덤 행렬의 평균 특이값의 기대값이다.
• 특히 $d=1$일 경우 근사비는 $2/\pi$로 줄어들며, 고전적인 작은 그로텐디크 문제에 대한 알려진 최적 경계를 회복한다.
• 이 알고리즘은 프로크루스테스 문제에 대해 가장 잘 알려진 근사비를 $1/(2\sqrt{2})$에서 $\alpha_{Σ}(d)^2$로 향상시키며, $d \geq 2$일 경우 엄밀히 더 낫다.
• 이 방법은 자연스럽게 복소수 유니터리 군으로 확장되며, 복소수 케이스에 대해 $\alpha_{Σ}(d)^2$의 근사비를 달성한다.
• SDP 풀이의 정수화 갭이 근사비와 일치함으로써, 선택된 풀이에 대해 이 경계가 날카로운 것으로 나타난다.
• 이 분석은 질량 제약 조건이 있는 변형 문제에 일반화할 수 있는 프레임워크를 제공하며, $d=1$일 경우 정확한 $2/\pi$ 비율을 회복한다.