[논문 리뷰] Block-Coordinate Minimization for Large SDPs with Block-Diagonal Constraints

Yulun Tian, Kasra Khosoussi외 1명|arXiv (Cornell University)|2019. 03. 02.

Advanced Optimization Algorithms Research참고 문헌 16인용 수 4

한 줄 요약

이 논문은 블록좌표 최소화(BCM)를 스트리벨 다양체의 카르테시안 곱으로 확장하여, 블록 대각 제약 조건을 가진 대규모 정준형 프로그래밍(SDP)의 스케일러블한 해법을 가능하게 한다. 이 방법은 리만 기울기 노름에 대해 $ O(1/k) $의 전역 수렴 속도를 확보하여, 자세 및 회전 동기화와 같은 응용 분야에 적합하다.

ABSTRACT

The so-called Burer-Monteiro method is a well-studied technique for solving large-scale semidefinite programs (SDPs) via low-rank factorization. The main idea is to solve rank-restricted, albeit non-convex, surrogates instead of the SDP. Recent works have shown that, in an important class of SDPs with elegant geometric structure, one can find globally optimal solutions to the SDP by finding rank-deficient second-order critical points of an unconstrained Riemannian optimization problem. Hence, in such problems, the Burer-Monteiro approach can provide a scalable and reliable alternative to interior-point methods that scale poorly. Among various Riemannian optimization methods proposed, block-coordinate minimization (BCM) is of particular interest due to its simplicity. Erdogdu et al. in their recent work proposed BCM for problems over the Cartesian product of unit spheres and provided global convergence rate estimates for the algorithm. This report extends the BCM algorithm and the global convergence rate analysis of Erdogdu et al. from problems over the Cartesian product of unit spheres to the Cartesian product of Stiefel manifolds. The latter more general setting has important applications such as synchronization over the special orthogonal (SO) and special Euclidean (SE) groups.

연구 동기 및 목표

• 블록 대각 구조를 가진 대규모 정준형 프로그래밍(SDP)에 대해 내부점 방법의 확장성 한계를 해결한다.
• 단위 구의 곱에서부터 더 일반적인 스트리벨 다양체 곱 $ \mathrm{St}(d,r)^n $ 으로 블록좌표 최소화(BCM) 알고리즘과 그 전역 수렴 분석을 확장한다.
• SO(d) 및 SE(d) 군에서 발생하는 동기화 문제에 기반한 대규모 SDP의 효율적이고 신뢰할 수 있는 해법을 제공한다.
• 균일 및 중요도 샘플링 전략 하에서 스트리벨 다양체 위에서 BCM의 이론적 수렴 보장을 제공한다.
• 리만 문제의 랭크 결손이 있는 2차 임계점이 원래 SDP의 전역 최적해를 제공함을 규명한다.

제안 방법

• SDP를 $ \mathrm{St}(d,r)^n $ 상의 저랭크 최적화 문제로 재구성하고, 인수분해 $ X = Y^\top Y $ 를 사용한다.
• 비용 함수 $ F(Y) = \operatorname{tr}(QY^\top Y) $ 를 블록 기여도 $ F_i(Y_i) = \langle G_i, Y_i \rangle $ 로 분해하며, 여기서 $ G_i = \sum_{j \neq i} Y_j Q_{[j,i]} $ 이다.
• 다른 블록을 고정한 채로 하나의 블록 $ Y_i $ 에 대해 반복적으로 최적화하는 블록좌표 최소화를 적용하며, SVD를 통한 닫힌 형식 해를 사용한다: $ Y_i^\star = U_i I_{r \times d} V_i^\top $, $ -G_i = U_i \Sigma_i V_i^\top $.
• 균일 샘플링($ p_i = 1/n $)과 중요도 샘플링($ p_i \propto \|G_i\|_* $) 두 가지 샘플링 전략을 사용하여 블록를 선택한다.
• 기대 제곱 리만 기울기 노름에 대해 $ O(1/k) $ 수준의 전역 수렴 속도 상한을 유도하며, $ \mathbb{E}\|\operatorname{grad}F(Y^k)\|_F^2 \leq \epsilon $ 이 $ O(1/\epsilon) $ 반복 후에 성립함을 보인다.
• 행렬 노름 부등식과 고유값/특이값의 교차 성질을 활용하여 각 반복 단계에서 목적 함수의 감소를 근사한다.

실험 결과

연구 질문

• RQ1 대규모 SDP에 대해 블록좌표 최소화를 단위 구의 곱에서 스트리벨 다양체의 곱으로 일반화할 수 있는가?
• RQ2 균일 및 중요도 샘플링 하에서 $ \mathrm{St}(d,r)^n $ 상에서 BCM의 전역 수렴 속도는 어떻게 확보할 수 있는가?
• RQ3 해가 랭크 결손이 있고 2차 임계점인 경우 리만 BCM 알고리즘이 전역 최적해로 수렴하는가?
• RQ4 수렴 속도는 $ d $, $ n $, 및 $ Q $ 의 핵심 노름과 같은 문제 파라미터에 어떻게 의존하는가?
• RQ5 이 알고리즘은 SO(d) 및 SE(d)에서 대규모 인스턴스에 대해 동기화 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 $ \mathrm{St}(d,r)^n $ 상의 BCM 알고리즘은 기대 제곱 리만 기울기 노름에 대해 $ O(1/k) $ 전역 수렴 속도를 확보한다.
• 수렴 상한은 문제 크기 $ dnC_1(Q) $ 를 통해 의존하며, 여기서 $ C_1(Q) = \sum_{i \neq j} \|Q_{[i,j]}\|_* $ 이고, 초기 목적 함수 갭에 의존한다.
• 중요도 샘플링은 기울기 기여도가 높은 블록을 우선적으로 선택하여 실질적으로 더 빠른 수렴을 이끈다.
• 랭크 결손이 있는 2차 임계점이 발견되면 전역 최적해를 보장하며, 이러한 점은 원래 SDP의 전역 최적해에 대응한다.
• 이론적 분석은 약한 가정 하에 안정점에 수렴하고, 안정점으로의 수렴 가능성이 높음을 확인한다.
• 이 방법은 대규모 문제에 대해 확장 가능하며, 내부점 방법이 비가능한 경우에도 $ d \times n > 10^4 $ 의 포즈 그래프 최적화 문제 등에 적용 가능하다.