[論文レビュー] The Mixing method: coordinate descent for low-rank semidefinite programming.

Po-Wei Wang, Wei-Cheng Chang+1 more|arXiv (Cornell University)|Jun 1, 2017

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

本論文は、低ランク半定値計画法のための単純でパラメータフリーの座標降下法である Mixing 法を紹介する。この手法は、最先端の手法と比較して、収束が10倍以上速く、特定の問題に対して臨界点への収束を保証する。また、max-cut の緩和、最大充足可能性の緩和、GloVe 単語埋め込み最適化の3つの分野において、顕著な性能向上を達成する。

ABSTRACT

In this paper, we propose a coordinate descent approach to low-rank structured semidefinite programming. The approach, which we call the Mixing method, is extremely simple to implement, has no free parameters, and typically attains an order of magnitude or better improvement in optimization performance over the current state of the art. We show that for certain problems, the method is strictly decreasing and guaranteed to converge to a critical point. We then apply the algorithm to three separate domains: solving the maximum cut semidefinite relaxation, solving a (novel) maximum satisfiability relaxation, and solving the GloVe word embedding optimization problem. In all settings, we demonstrate improvement over the existing state of the art along various dimensions. In total, this work substantially expands the scope and scale of problems that can be solved using semidefinite programming methods.

研究の動機と目的

• 低ランク半定値計画法のための単純で効果的かつパラメータフリーな最適化手法を開発すること。
• 大規模最適化問題における半定値計画法のスケーラビリティと性能を向上させること。
• 効率的な低ランクソルバーを用いて、半定値計画法の適用範囲をより大規模かつ複雑な問題へ拡大すること。
• 本手法の有効性を、組合せ最適化や自然言語処理を含む多様な分野で示すこと。

提案手法

• Mixing 法は、半定値行列の低ランク因子に対して座標降下を適用し、1つの因子ずつ更新することで目的関数を最小化する。
• 低ランク構造を維持し、最適化中の数値安定性を保証する構造化された更新ルールを用いる。
• アルゴリズムは本質的にパラメータフリーであり、収束性や性能のためのハイパーパramータチューニングを必要としない。
• 特定の問題クラスでは、目的関数値が厳密に減少し、臨界点への収束が保証される。
• 低ランク構造を活用することで、フル行列法と比較して計算複雑度とメモリ使用量を削減する。
• 反復的に因子化された行列表現を最適化し、収束に達するまで繰り返す。

実験結果

リサーチクエスチョン

• RQ1 単純でパラメータフリーな座標降下法が、低ランク半定値計画問題において既存の最先端ソルバーを上回ることができるか？
• RQ2 Mixing 法は特定のクラスの半定値計画問題に対して、臨界点への収束を保証するか？
• RQ3 本手法は、組合せ最適化や機械学習分野の大規模問題にも効果的にスケーリングできるか？
• RQ4 max-cut や GloVe といった実世界の応用において、Mixing 法は既存のソルバーと比較してどの程度の性能を示すか？

主な発見

• Mixing 法は、現在の最先端技術と比較して最適化性能が10倍以上向上する。
• 特定の問題クラスでは、手法が厳密に減少し、臨界点への収束が保証される。
• 最大カットの半定値緩和問題において、解の品質と速度の両面で優れた性能を示す。
• 半定値計画法の応用範囲を拡大する新しい最大充足可能性緩和問題を効果的に解ける。
• GloVe 単語埋め込み最適化において、収束速度とスケーラビリティの両面で、既存の手法を上回る。
• 全体として、本研究は半定値計画法を用いて効率的に解ける問題の範囲を著しく拡大した。