[論文レビュー] An Optimal-Storage Approach to Semidefinite Programming using Approximate Complementarity

Lijun Ding, Alp Yurtsever+3 more|arXiv (Cornell University)|Feb 9, 2019

Advanced Optimization Algorithms Research参考文献 69被引用数 12

ひとこと要約

本稿では、近似的補完性原理を活用することで、半定値計画問題（SDP）をストレージ最適化されたアルゴリズムで解く手法を提案する。具体的には、近似的な双対解が与えられたとき、その双対スラック行列の小さな固有値に対応する低次元固有空間内に、主問題の解が存在することを特徴とする。この手法はストレージ複雑性を最適化し、特に弱い制約を伴うSDPにおいて、最小限のメモリで主問題の解を保証的に回復できる。

ABSTRACT

This paper develops a new storage-optimal algorithm that provably solves generic semidefinite programs (SDPs) in standard form. This method is particularly effective for weakly constrained SDPs. The key idea is to formulate an approximate complementarity principle: Given an approximate solution to the dual SDP, the primal SDP has an approximate solution whose range is contained in the eigenspace with small eigenvalues of the dual slack matrix. For weakly constrained SDPs, this eigenspace has very low dimension, so this observation significantly reduces the search space for the primal solution. This result suggests an algorithmic strategy that can be implemented with minimal storage: (1) Solve the dual SDP approximately; (2) compress the primal SDP to the eigenspace with small eigenvalues of the dual slack matrix; (3) solve the compressed primal SDP. The paper also provides numerical experiments showing that this approach is successful for a range of interesting large-scale SDPs.

研究の動機と目的

• 標準的手法が二次的ストレージコストのため大規模問題では不適切となる状況において、半定値計画問題（SDP）を保証的に正しく、ストレージ最適化されたアルゴリズムで解くこと。
• 主行列変数を明示的に保存せずに、近似的な双対解から主問題の解を回復する課題に対処すること。
• 主問題変数の探索空間を低次元部分空間に削減する理論的基盤（近似的補完性）を確立すること。
• 最適ストレージ複雑性を達成しながら、大規模SDPにおいて収束性と正確性を維持することを示すこと。
• 中規模問題において、既存のソルバ（例：SDPNAL+）と比較して精度と実行時間で同等または優れる、数値的妥当性を提示すること。

提案手法

• 近似的補完性原理を定式化：任意の近似的な双対解 $ y $ に対して、双対スラック行列 $ C - abla ilde{ au}^* y $ の最小固有値に対応する固有空間に含まれる主問題解 $ X $ が存在する。
• ストレージ最適化の双対ソルバ（例：AdaGrad, AccelGrad）を用いて、$ O(mn) $ のストレージで近似的な双対解 $ y $ を計算する。ここで $ m $ は制約数、$ n $ は行列サイズである。
• 主SDPを双対スラック行列の低次元固有空間に圧縮し、$ X $ の探索空間を次元 $ r riangleq ext{rank}(X_ullet) $ の部分空間に削減する。弱い制約を伴うSDPではこの $ r $ が小さくなる。
• 射影形式または因子分解形式を用いて低次元部分空間上で圧縮された主SDPを解くことで、ストレージ複雑性を $ n $ に線形に保つ。
• 収束保証付きの回復手順（例：アルゴリズム2）を適用し、圧縮空間上で反復的に主問題解を精緻化する。正則性条件のもとで収束保証が得られる。
• 主問題回復性能を評価するために、適合性と目的関数最小化のサブプロブレム（例：式 MinFeasSDP および 式 MinObjSDP）を用い、サブ最適性、不適合性、真の解からの距離の観点から評価する。

実験結果

リサーチクエスチョン

• RQ1 主行列変数 $ n imes n $ を保存せずに、ストレージ最適化されたSDPの解法アルゴリズムを設計できるか？
• RQ2 近似的補完性原理が成り立つのか。すなわち、近似的な双対解に対して、主問題の解が双対スラック行列の小さな固有値に対応する低次元固有空間内に存在するのか？
• RQ3 双対解と双対スラック行列の構造のみを用いて、最適ストレージ複雑性で主問題の解を保証的に回復できるか？
• RQ4 圧縮部分空間におけるランク $ r $ の選択が、主問題回復の収束速度と正確性に与える影響は何か？
• RQ5 中規模問題において、既存のSDPソルバ（例：SDPNAL+）と同等または上回る精度と実行時間性能を達成できるか？

主な発見

• 提案手法は、双対スラック行列の低次元固有空間への主変数の圧縮により、ストレージ複雑性を $ O(n^2) $ から $ O(nr) $ に削減し、最適化を達成する。ここで $ r riangleq ext{rank}(X_ullet) $ である。
• 弱い制約を伴うSDP（$ m = O(n) $）では、双対スラック行列が低ランク構造を持つため、小さな固有値に対応する固有空間の次元は $ r riangleq ext{rank}(X_ullet) $ となり、顕著な圧縮が可能である。
• 数値実験では、$ r = r_ullet $（真のランク）または $ r = 3r_ullet $（高ランク）を用いた主問題回復が、サブ最適性、不適合性、真の解からの距離の観点で収束し、高ランクを用いることでより速い収束を示した。
• 中規模問題（例：$ 10^4 imes 10^4 $）において、100秒未満で中程度の精度（$ 10^{-3} $）を達成し、SDPNAL+と同等または上回る性能を示した。
• 双対ソルバ（AdaGrad, AdaNGD, AccelGrad）は双対側で収束し、主問題回復においてもサブ最適性、不適合性、真の解からの距離のすべての指標で収束を維持した。特に $ r = 3r_ullet $ を用いる際、顕著な収束性を示した。
• 理論的分析により、この手法が正則SDP（強い双対性、一意解、厳密補完性）を保証的に解くことが確認された。これらの性質は一般に成り立ち、多くの応用分野でも成立する。