[논문 리뷰] The Mixing method: coordinate descent for low-rank semidefinite programming.

Po-Wei Wang, Wei-Cheng Chang외 1명|arXiv (Cornell University)|2017. 06. 01.

Sparse and Compressive Sensing Techniques인용 수 11

한 줄 요약

이 논문은 저랭크 양의 정부호 프로그래밍을 위한 단순하고 하이퍼파rameter가 없는 좌표강하 알고리즘인 Mixing 방법을 소개한다. 이 방법은 최신 기술 대비 수개의 주기 빠른 수렴을 달성하며, 특정 문제에 대해 임계점으로의 수렴을 보장한다. 또한 최대 컷 리 릴랙세이션, 최대 만족 가능성 리 릴랙세이션, GloVe 단어 임베딩 최적화의 세 영역에서 성능을 크게 향상시킨다.

ABSTRACT

In this paper, we propose a coordinate descent approach to low-rank structured semidefinite programming. The approach, which we call the Mixing method, is extremely simple to implement, has no free parameters, and typically attains an order of magnitude or better improvement in optimization performance over the current state of the art. We show that for certain problems, the method is strictly decreasing and guaranteed to converge to a critical point. We then apply the algorithm to three separate domains: solving the maximum cut semidefinite relaxation, solving a (novel) maximum satisfiability relaxation, and solving the GloVe word embedding optimization problem. In all settings, we demonstrate improvement over the existing state of the art along various dimensions. In total, this work substantially expands the scope and scale of problems that can be solved using semidefinite programming methods.

연구 동기 및 목표

• 저랭크 양의 정부호 프로그래밍을 위한 단순하고 효과적이며 하이퍼파rameter가 없는 최적화 방법을 개발하는 것.
• 대규모 최적화 문제에서 양의 정부호 프로그래밍의 확장성과 성능을 향상시키는 것.
• 효율적인 저랭크 해법을 통해 양의 정부호 프로그래밍의 적용 가능 영역을 더 큰 복잡한 문제로 확장하는 것.
• 다양한 영역에서의 방법의 효과성을 입증하는 것, 예를 들어 조합 최적화와 자연어 처리 분야

제안 방법

• Mixing 방법은 양의 정부호 행렬의 저랭크 인자에 대해 좌표강하를 적용하며, 목적함수를 최소화하기 위해 한 번에 하나의 인자만 갱신한다.
• 저랭크 구조를 유지하고 최적화 중 수치적 안정성을 확보하기 위해 구조화된 갱신 규칙을 사용한다.
• 알고리즘은 본질적으로 하이퍼파rameter가 없으며, 수렴성이나 성능을 위해 별도의 하이퍼파ram터 튜닝이 필요하지 않다.
• 특정 문제 클래스에 대해 목적함수 값이 엄격히 감소하도록 설계되어 있어, 임계점으로의 수렴을 보장한다.
• 저랭크 구조를 활용하여 전체 행렬 방법 대비 계산 복잡도와 메모리 사용량을 감소시킨다.
• 수렴이 달성될 때까지 반복적으로 인자화된 행렬 표현을 최적화하기 위해 적용된다.

실험 결과

연구 질문

• RQ1 단순하고 하이퍼파rameter가 없는 좌표강하 방법이 저랭크 양의 정부호 프로그래밍에 대해 기존 최고 수준의 솔버를 능가할 수 있는가?
• RQ2 Mixing 방법이 특정 클래스의 양의 정부호 프로그래밍에 대해 임계점으로의 수렴을 보장하는가?
• RQ3 이 방법이 조합 최적화 및 머신러닝 분야의 대규모 문제에 대해 효과적으로 확장 가능한가?
• RQ4 최대 컷과 GloVe와 같은 실제 응용 분야에서 기존 솔버와 비교해 Mixing 방법의 성능은 어떠한가?

주요 결과

• Mixing 방법은 현재 최고 수준의 기술 대비 최적화 성능에서 수개의 주기 이상의 향상을 달성한다.
• 특정 문제 클래스에 대해 방법은 엄격히 감소하며, 임계점으로의 수렴이 보장된다.
• 최대 컷 양의 정부호 리 릴랙세이션에서 뛰어난 성능을 보이며, 해의 품질과 속도를 모두 향상시킨다.
• 새로운 최대 만족 가능성 리 릴랙세이션을 성공적으로 해결하여, 양의 정부호 프로그래밍의 응용 범위를 확장한다.
• GloVe 단어 임베딩 최적화를 크게 가속화하여, 수렴 속도와 확장성 면에서 기존 접근법을 능가한다.
• 전반적으로 이 작업은 양의 정부호 프로그래밍을 효율적으로 해결할 수 있는 문제 범위를 크게 확장한다.