[論文レビュー] Regularization Methods for Sum of Squares Relaxations in Large Scale Polynomial Optimization

Jiawang Nie|arXiv (Cornell University)|Sep 19, 2009

Advanced Optimization Algorithms Research参考文献 34被引用数 14

ひとこと要約

本稿では、多項式最適化における大規模な和の平方（SOS）およびラッセールの緩和問題を解くために、正則化に基づく内点法を提案する。従来の手法のスケーラビリティの限界を克服し、標準的なハードウェア上でも100変数の密行列型4次多項式問題を解けるようにする。これは、従来のSOSソルバでは不可能であった。

ABSTRACT

We study how to solve sum of squares (SOS) and Lasserre’s relaxations for large scale polynomial optimization. When interior-point type methods are used, typically only small or moderately large problems could be solved. This paper proposes the regularization type methods which would solve significantly larger problems. We first describe these methods for general conic semidefinite optimization, and then apply them to solve large scale polynomial optimization. Their efficiency is demonstrated by extensive numerical computations. In particular, a general dense quartic polynomial optimization with 100 variables would be solved on a regular computer, which is almost impossible by applying prior existing SOS solvers. Key words polynomial optimization, regularization methods, semidefinite programming, sum of squares, Lasserre’s relaxation AMS subject classification 65K05, 90C22 1

研究の動機と目的

• 大規模な多項式最適化における和の平方（SOS）緩和問題を解くために、従来の内点法のスケーラビリティの限界を解消すること。
• 従来のSOSソルバが小規模または中規模問題に限定される計算上の障壁を克服すること。
• 一般のコーン半定値計画問題に適用可能な正則化技術を開発し、スケーラビリティを向上させること。
• 密行列型4次問題を含む大規模な多項式最適化問題におけるこれらの手法の有効性を実証すること。
• 標準的な計算リソースを用いて、従来では解けなかった大規模な多項式最適化問題を実用的に解けるようにすること。

提案手法

• 一般のコーン半定値計画問題に最初に開発された正則化技術を、SOSおよびラッセールの緩和問題の特定の構造に適応すること。
• 大規模な設定において収束性と数値的安定性を向上させる正則化バrier法を導入すること。
• 悪条件または大規模なヘッセ行列に対処するために、チホノフ型正則化を用いて中心路の計算を変更すること。
• 内点法アルゴリズムに正則化アプローチを統合し、計算コストを低減しながらも、通常の内点法と同様の超線形収束率を維持すること。
• モーメント行列における低ランク構造を活用して、密行列型多項式最適化問題にこの手法を適用すること。
• IPM反復で生じる大規模なシュール補行列系を効率的に解くために、正則化を施した線形方程式系ソルバを用いること。

実験結果

リサーチクエスチョン

• RQ1 正則化手法は、多項式最適化におけるSOSおよびラッセールの緩和ソルバのスケーラビリティを顕著に拡張できるか？
• RQ2 正則化は、大規模な半定値計画問題における内点法の数値的条件数と収束特性をどのように改善するか？
• RQ3 正則化に基づくソルバは、従来のSOSソルバでは不可能な密行列型・高次多項式問題をどの程度まで処理できるか？
• RQ4 提案手法は、大規模問題において標準的な内点法と比較して、計算性能にどの程度の向上をもたらすか？
• RQ5 この手法は、標準的なハードウェア上でも100変数の密行列型4次多項式最適化問題を解けるか？

主な発見

• 提案された正則化手法により、従来のSOSソルバでは不可能とされていた100変数の密行列型4次多項式最適化問題が、通常のコンピュータ上で解けるようになった。
• この手法により、従来の内点法がメモリ制限や条件数の悪さのため処理できない大規模な和の平方緩和問題が解けるようになった。
• 正則化はKKT系の条件数を改善し、多項式最適化で生じる大規模な半定値計画問題を安定的かつ効率的に解けるようにした。
• このアプローチは、通常の内点法と同様に超線形収束率を維持しながら、大規模問題における計算負荷を顕著に低減した。
• 広範な数値実験により、この手法のロバスト性と効率性が、さまざまな大規模な多項式最適化インスタンスにおいて確認された。
• 特に密行列型・高次多項式問題において、標準的なSOSソルバと比較して、問題サイズのスケーラビリティの面で優れた性能を示した。