[論文レビュー] Sparse Polynomial Optimization: Theory and Practice

Victor Magron, Jie Wang|arXiv (Cornell University)|Aug 23, 2022

Advanced Optimization Algorithms Research被引用数 6

ひとこと要約

本稿では、相関スパarsity（correlative sparsity）と項スパarsity（term sparsity）を活用することで、スパース多項式最適化のスケーラビリティと効率性を向上させる包括的なフレームワークを提示する。スパースモーメント-SOS階層とチェオーダルスパarsity、低ランク行列分解を統合することで、制御系、量子情報、ディープラーニング分野における大規模問題の高精度な解法が可能となり、さまざまなベンチマークにおいて計算速度とメモリ使用量の改善が実証された。

ABSTRACT

The problem of minimizing a polynomial over a set of polynomial inequalities is an NP-hard non-convex problem. Thanks to powerful results from real algebraic geometry, one can convert this problem into a nested sequence of finite-dimensional convex problems. At each step of the associated hierarchy, one needs to solve a fixed size semidefinite program, which can be in turn solved with efficient numerical tools. On the practical side however, there is no-free lunch and such optimization methods usually encompass severe scalability issues. Fortunately, for many applications, we can look at the problem in the eyes and exploit the inherent data structure arising from the cost and constraints describing the problem, for instance sparsity or symmetries. This book presents several research efforts to tackle this scientific challenge with important computational implications, and provides the development of alternative optimization schemes that scale well in terms of computational complexity, at least in some identified class of problems. The presented algorithmic framework in this book mainly exploits the sparsity structure of the input data to solve large-scale polynomial optimization problems. We present sparsity-exploiting hierarchies of relaxations, for either unconstrained or constrained problems. By contrast with the dense hierarchies, they provide faster approximation of the solution in practice but also come with the same theoretical convergence guarantees. Our framework is not restricted to static polynomial optimization, and we expose hierarchies of approximations for values of interest arising from the analysis of dynamical systems. We also present various extensions to problems involving noncommuting variables, e.g., matrices of arbitrary size or quantum physic operators.

研究の動機と目的

• 大規模な多項式最適化問題（POPs）の計算上の非効率性を、構造的スパarsityの活用によって解消すること。
• 相関スパarsityと項スパarsityを活用した効率的なモーメント-SOS階層の開発により、計算複雑度を低減すること。
• ロバストネス認証、安定性解析、量子ベル不等式といった実世界の応用分野におけるPOPsを解くための実用的アルゴリズムとソフトウェアツールの提供。
• 非可換設定へのスパース最適化の拡張、特にトレース多項式と共同スペクトル半径（JSR）の計算。
• 再現可能でスケーラブルな計算を実現するため、MATLABおよびJuliaにおけるオープンソース実装の提供。

提案手法

• 本稿では、相関スパarsity（CS）と項スパarsity（TS）を統合したCS-TSSOS階層を導入し、半定値計画問題（SDPs）のサイズを低減する。
• チェオーダルスパarsityパターンとスパースモーメント／局所化行列を用いて、大規模SDPをより小さい独立した部分問題に分解する。
• 単項式基底の削減と最小初期緩和ステップを活用したスパースSOS緩和を用いることで、効率性を向上させる。
• 非可換最適化の文脈では、GNS構成とスパース表現を用いて、トレース多項式と非可換モーメント行列へのフレームワークの拡張を実施する。
• 一次ソルバーとバイセクションベースのアルゴリズムを統合し、共同スペクトル半径（JSR）計算に収束保証を付与する。
• TSSOS、NCTSSOS、SparseJSR、SparseDynamicSystemなどのJuliaライブラリを通じて、エンドツーエンドのアプリケーションデプロイメントを実現する。

実験結果

リサーチクエスチョン

• RQ1 相関スパarsityと項スパarsityを併用することで、多項式最適化におけるモーメント-SOS緩和のサイズをどの程度低減できるか？
• RQ2 スパースSDP定式化が、大規模POPsにおけるグローバル最適化の収束性と精度に与える影響は何か？
• RQ3 スパースモーメント-SOS階層は、非可換多項式最適化および量子情報問題へ効果的に拡張可能か？
• RQ4 ディープニューラルネットワークのロバストネスや電力系統最適化といった実世界の応用において、スパース緩和は密度的定式化と比較して性能とスケーラビリティで優れているか？
• RQ5 最小初期緩和とチェオーダル拡張の役割は、効率的かつ正確な解法を達成するために果たすものとは何か？

主な発見

• CS-TSSOS階層はグローバル収束を達成し、SDPのサイズを顕著に低減することで、従来では解けなかったPOPsの解法を可能にした。
• 共同スペクトル半径（JSR）問題において、緩和次数 r=2 の段階で、スパース版のSparseJSRアルゴリズムが密度的メソッド比で20〜50％の高速化を達成した。
• ディープラーニングのロバストネス認証において、本手法はよりタイトなリプシッツ境界を計算し、メモリ使用量を削減し、標準SOS緩和を上回る性能を示した。
• 非可換ベル不等式の文脈では、NCTSSOSフレームワークにより、最初の不等式では-13.7333、第二の不等式では-13.7393の上界が計算され、既知の理論的値と一致した。
• 最小チェオーダル拡張（TS="MD