[論文レビュー] The Mixing method: low-rank coordinate descent for semidefinite programming with diagonal constraints

Po-Wei Wang, Wei‐Cheng Chang+1 more|arXiv (Cornell University)|Jun 1, 2017

Sparse and Compressive Sensing Techniques参考文献 3被引用数 18

ひとこと要約

本稿では、対角制約付き半定値計画（SDP）問題に対する、パラメータフリーの低ランク座標降下法「Mixing法」を提案する。十分なランクと確率的初期化のもとで、最適解へのグローバル収束を達成し、MAXCUT、MAXSAT、ワード埋め込みの応用において、最先端手法と比較して10–100倍の高速性を発揮しながらも、高い解の品質を維持する。

ABSTRACT

In this paper, we propose a low-rank coordinate descent approach to structured semidefinite programming with diagonal constraints. The approach, which we call the Mixing method, is extremely simple to implement, has no free parameters, and typically attains an order of magnitude or better improvement in optimization performance over the current state of the art. We show that the method is strictly decreasing, converges to a critical point, and further that for sufficient rank all non-optimal critical points are unstable. Moreover, we prove that with a step size, the Mixing method converges to the global optimum of the semidefinite program almost surely in a locally linear rate under random initialization. This is the first low-rank semidefinite programming method that has been shown to achieve a global optimum on the spherical manifold without assumption. We apply our algorithm to two related domains: solving the maximum cut semidefinite relaxation, and solving a maximum satisfiability relaxation (we also briefly consider additional applications such as learning word embeddings). In all settings, we demonstrate substantial improvement over the existing state of the art along various dimensions, and in total, this work expands the scope and scale of problems that can be solved using semidefinite programming methods.

研究の動機と目的

• 行列サイズの増大に伴い変数が二次的に増加するため、従来の半定値計画（SDP）ソルバの拡張性に制限が生じる問題に対処すること。
• MAXCUT や MAXSAT の緩和問題に生じるような、対角制約付きの構造的SDPを、低ランクで非凸最適化により効率的に解く手法を開発すること。
• 十分なランクと確率的初期化のもとで、追加の仮定なしに、非凸球面多様体上でも真の最適解へのグローバル収束を達成すること。
• 組合せ最適化や自然言語処理（NLP）を含む複数の応用分野において、最適化の速度と解の品質の両面で優れた実験的性能を示すこと。

提案手法

• SDP変数を $ X = V^T V $ と低ランク因子分解することで、明示的な半正定値制約を回避する。ここで $ V \in \mathbb{R}^{k \times n} $ である。
• 対角制約 $ X_{ii} = 1 $ に基づいて、各ステップで $ V $ の1行 $ v_i $ を逐次更新する座標降下法を適用する。
• 更新則は、各 $ v_i $ を他の $ v_j $ の「混合」として解釈することで、目的関数値が各ステップで厳密に減少することを保証する。このことから「Mixing法」と命名された。
• スパース行列を1回のパスで処理する実装により、スパースなデータ構造を有する大規模問題に対しても非常に効率的である。
• ステップサイズパラメータを用いることで、確率的初期化のもとで、ほぼ確実に最適解への収束が達成され、最適解近傍では局所的線形収束を示す。
• 本手法は本質的にパラメータフリーであり、学習率のチューニングやハイパーパramータの選択を一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 対角制約付きSDPに対して、追加の仮定なしに、非凸球面多様体上でも真の最適解へのグローバル収束を達成できる低ランク・非凸座標降下法は存在するか？
• RQ2 Mixing法は、大規模SDP問題において、既存の最先端ソルバーよりも速度と解の品質の両面で優れているか？
• RQ3 本手法は、MAXSAT緩和やワード埋め込み学習といった非伝統的SDP応用に対しても効果的に適用可能か？
• RQ4 十分なランクのもとで、臨界点への収束に関する理論的保証および非最適解の不安定性をどのように確立できるか？
• RQ5 ランクに依存せず、最適解近傍での局所的線形収束が維持されるか？

主な発見

• Mix合法は1次臨界点に収束し、各反復で目的関数値が厳密に減少するため、単調な改善が保証される。
• ランク $ k > \sqrt{2n} $ のもとで、すべての非最適臨界点は不安定であることが示され、最適解への収束を支持する。
• 適切なステップサイズを用いることで、確率的初期化のもとで、ほぼ確実に最適解への収束が達成され、仮定なしに球面多様体上で初めてこのような結果が得られた。
• MAXCUT SDP問題において、競合ソルバーよりも10–100倍高速に収束し、最大の問題でも持続的な高速化を達成した。
• MAXSAT問題では、525個のベンチマーク問題において平均近似比0.978を達成し、MAXSAT 2016コンペティションで最良の部分的・完全ソルバーよりも速い性能を示した。
• ワード埋め込み問題に対しても優れた性能を示し、GloVeと同等またはそれを上回る性能を達成しながら、最適化の速度が著しく速い。