[논문 리뷰] The Mixing method: low-rank coordinate descent for semidefinite programming with diagonal constraints

Po-Wei Wang, Wei‐Cheng Chang외 1명|arXiv (Cornell University)|2017. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 18

한 줄 요약

논문은 대각 제약 조건을 가진 준정형계획문제를 위한 단순하고 파rameter-free인 저질서 좌표강하 알고리즘인 Mixing 방법을 제안한다. 충분한 질서와 무작위 초기화 조건 하에서 전역 수렴을 달성하며, MAXCUT, MAXSAT 및 워드 임베딩 응용 분야에서 최상의 해 품질을 유지하면서도 최신 기법 대비 10–100배 빠른 속도를 기록한다.

ABSTRACT

In this paper, we propose a low-rank coordinate descent approach to structured semidefinite programming with diagonal constraints. The approach, which we call the Mixing method, is extremely simple to implement, has no free parameters, and typically attains an order of magnitude or better improvement in optimization performance over the current state of the art. We show that the method is strictly decreasing, converges to a critical point, and further that for sufficient rank all non-optimal critical points are unstable. Moreover, we prove that with a step size, the Mixing method converges to the global optimum of the semidefinite program almost surely in a locally linear rate under random initialization. This is the first low-rank semidefinite programming method that has been shown to achieve a global optimum on the spherical manifold without assumption. We apply our algorithm to two related domains: solving the maximum cut semidefinite relaxation, and solving a maximum satisfiability relaxation (we also briefly consider additional applications such as learning word embeddings). In all settings, we demonstrate substantial improvement over the existing state of the art along various dimensions, and in total, this work expands the scope and scale of problems that can be solved using semidefinite programming methods.

연구 동기 및 목표

• 행렬 크기 증가에 따라 변수 수가 제곱적으로 증가하는 전통적 준정형계획문제(SDP) 해법기의 확장성 한계를 해결하기 위해.
• MAXCUT 및 MAXSAT 리 릴랙세이션에서 발생하는 대각 제약 조건이 있는 구조적 SDP 문제를 효율적으로 해결할 수 있는 저질서 비볼록 최적화 방법을 개발하기 위해.
• 추가 가정 없이 비볼록 구면 다양체 상에서도 충분한 질서와 무작위 초기화 조건 하에서 진정한 최적해로의 전역 수렴을 달성하기 위해.
• 조합 최적화 및 자연어처리(NLP)를 포함한 다양한 응용 분야에서 최적화 속도와 해 품질 측면에서 뛰어난 경험적 성능을 입증하기 위해.

제안 방법

• SDP 변수를 표현하기 위해 $ X = V^T V $ 형태의 저질서 분해를 사용하며, $ V \in \mathbb{R}^{k \times n} $ 이다. 이는 명시적인 준정형성 제약 조건을 피한다.
• 각 단계에서 $ V $의 한 행 $ v_i $ 를 단일로 갱신하는 좌표강하를 적용하며, 대각 제약 조건 $ X_{ii} = 1 $ 에 기반한 닫힌 형태의 갱신식을 사용한다.
• 각 $ v_i $ 를 다른 $ v_j $ 들의 '혼합'으로 간주함으로써 이름이 'Mixing 방법'이 되었으며, 이는 매 단계에서 목적함수 값이 엄격히 감소하도록 보장한다.
• 희소 행렬을 한 번의 스캔으로 처리할 수 있도록 구현되어 있어, 희소 데이터 구조를 가진 대규모 문제에 매우 효율적이다.
• 단계 크기 파ram터를 활용하여 무작위 초기화 조건 하에서 전역 최적해로 거의 확실히 수렴하며, 최적해 근처에서는 국소 선형 수렴을 보인다.
• 이 방법은 본질적으로 파rameter-free이며, 학습률 튜닝이나 하이퍼파라미터 선택이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 대각 제약 조건이 있는 SDP 문제에 대해, 추가 가정 없이도 저질서 비볼록 좌표강하 방법이 진정한 최적해로의 전역 수렴을 달성할 수 있는가?
• RQ2 Mixing 방법은 대규모 SDP 문제에서 기존 최신 기법 대비 속도와 해 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 이 방법은 MAXSAT 리 릴랙세이션 및 워드 임베딩 학습과 같은 전통적이지 않은 SDP 응용 분야에 효과적으로 적용될 수 있는가?
• RQ4 충분한 질서 조건 하에서 임계점으로의 수렴 및 비최적해 해의 불안정성에 대해 이론적으로 어떤 보장을 확보할 수 있는가?
• RQ5 해당 방법은 질서에 관계없이 최적해 근처에서 국소 선형 수렴을 유지하는가?

주요 결과

• Mixinging 방법은 1차 임계점으로 수렴하며, 매 반복 단계에서 목적함수 값이 엄격히 감소하여 단조로운 향상이 보장된다.
• 질서 $ k > \sqrt{2n} $ 조건 하에서 모든 비최적 임계점은 불안정하며, 이는 전역 최적해로의 수렴을 뒷받침한다.
• 적절한 단계 크기 조건 하에서, 무작위 초기화 조건 하에서 전역 최적해로 거의 확실히 수렴하며, 이는 가정 없이도 구면 다양체 상에서 최초의 그러한 결과이다.
• MAXCUT SDP 문제에 대해, 최신 기법 대비 10–100배 더 빠른 수렴 속도를 기록하며, 가장 큰 문제에서도 지속적인 성능 향상을 보였다. Manopt 및 기타 방법과 비교해도 유의미한 스피드업을 기록했다.
• MAXSAT 문제에 대해선 525개의 벤치마크 문제에서 평균 약 0.978의 근사 비율을 달성했으며, MAXSAT 2016 경쟁에서 최고의 부분적 및 완전 해법보다도 빠른 성능을 보였다.
• 워드 임베딩 문제에 대해서도 뛰어난 성능을 보였으며, GloVe와 유사하거나 이를 초월하는 성능을 기록했고, 최적화 속도 측면에선 훨씬 빠르게 동작했다.