[論文レビュー] Solving Tall Dense SDPs in the Current Matrix Multiplication Time.

Baihe Huang, Shunhua Jiang+2 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Optimization Algorithms Research参考文献 64被引用数 4

ひとこと要約

この論文は、制約行列における線形システムを解くための理論的下界に達する、$m^\omega$ 時間で半定値計画問題（SDP）を解く最初の内点法を提示する。$m \geq \Omega(n^2)$ の場合に成立し、Kronecker積の逆行列に対する遅延更新と、正定値行列のための新規アロケーションスキームを活用することで、最初の最適時間SDPソルバーを実現した。

ABSTRACT

This paper introduces a new interior point method algorithm that solves semidefinite programming (SDP) with variable size $n imes n$ and $m$ constraints in the (current) matrix multiplication time $m^{\omega}$ when $m \geq \Omega(n^2)$. Our algorithm is optimal because even finding a feasible matrix that satisfies all the constraints requires solving an linear system in $m^{\omega}$ time. Our work improves the state-of-the-art SDP solver [Jiang, Kathuria, Lee, Padmanabhan and Song, FOCS 2020], and it is the first result that SDP can be solved in the optimal running time. Our algorithm is based on two novel techniques: $\bullet$ Maintaining the inverse of a Kronecker product using lazy updates. $\bullet$ A general amortization scheme for positive semidefinite matrices.

研究の動機と目的

• 制約行列における線形システムを解くための最良の既知のSDPソルバーと、理論的下界 $m^\omega$ の間のギャップを埋めること。
• 高密度なSDP（$m \geq \Omega(n^2)$ 制約）に対して最適実行時間となる内点法を開発すること。
• SDP文脈において、行列の逆行列を維持し、更新を効率的にアロケーションするための新しいアルゴリズム的技術を設計すること。
• SDPを現在の行列乗算時間で解くことができることを示し、情報理論的下界に一致させること。

提案手法

• 反復的最適化ステップにおける高価な再計算を避けるために、Kronecker積の逆行列を遅延更新で維持すること。
• 正定値行列のための一般化されたアロケーションスキームを導入し、複数反復にわたる行列更新のコストを低減すること。
• これらの技術を統合した内点法を設計し、最適時間複雑性を達成しながら数値的安定性を維持すること。
• 各反復でニュートン系を解く際の冗長な演算を最小限に抑えるために、行列構造とスパarsityパターンを活用すること。
• 妥当なフェーズでも $m^\omega$ 時間を要することを踏まえ、SDPソルバーの理論的最小時間であることに気づくこと。
• 提案された更新およびアロケーション戦略の下で、アルゴリズムが数値的に安定で収束することを保証すること。

実験結果

リサーチクエスチョン

• RQ1 $m \geq \Omega(n^2}$ の場合に、半定値計画問題を現在の行列乗算時間 $m^\omega$ で解くことは可能か？
• RQ2 内点法の文脈において、この最適時間複雑性を達成するための新しい行列維持技術は何か？
• RQ3 正定値行列のためのアロケーションされた更新を一般化し、SDPソルバーに適用することは可能か？
• RQ4 各ステップでの完全再計算なしに、Kronecker積の逆行列を効率的に維持することは可能か？
• RQ5 提案された手法は、SDP解法時間の情報理論的下界に達しているか？

主な発見

• 提案されたアルゴリズムは、$m \geq \Omega(n^2}$ の場合に $m^\omega$ 時間で半定値計画問題を解き、線形システム解法の理論的下界に一致する。
• このアルゴリズムは、高密度SDPに対して最適実行時間となる最初のものであり、Jiangら（FOCS 2020）の先行研究を改善している。
• Kronecker積の逆行列に対する遅延更新は、計算オーバーヘッドを低減しながら、正確性と収束性を保持する。
• 正定値行列のためのアロケーションスキームにより、反復間での更新伝搬が効率的に行える。
• SDPを $m^\omega$ 時間未満で解くことは不可能であり、情報理論的に最適であることが示された。
• 提案された構造的最適化の下で、アルゴリズムは数値的安定性と収束性を維持している。