[論文レビュー] Optimization over Nonnegative and Convex Polynomials With and Without Semidefinite Programming

Georgina Hall|arXiv (Cornell University)|Jun 19, 2018

Advanced Optimization Algorithms Research参考文献 136被引用数 22

ひとこと要約

この論文は、半定値計画法（SDP）を排除した非負および凸多項式の最適化のための新規手法を提示する。半定値計画法の代わりに線形計画法または二次錐計画法の逐次的解法を用いる。多項式乗算と係数の非負性チェックのみを用いた、理論的に収束する下界の最初の理論的枠組みを導入し、理論的収束を維持しながら顕著な計算高速化を達成する。

ABSTRACT

The problem of optimizing over the cone of nonnegative polynomials is a fundamental problem in computational mathematics, with applications to polynomial optimization, control, machine learning, game theory, and combinatorics, among others. A number of breakthrough papers in the early 2000s showed that this problem, long thought to be out of reach, could be tackled by using sum of squares programming. This technique however has proved to be expensive for large-scale problems, as it involves solving large semidefinite programs (SDPs). In the first part of this thesis, we present two methods for approximately solving large-scale sum of squares programs that dispense altogether with semidefinite programming and only involve solving a sequence of linear or second order cone programs generated in an adaptive fashion. We then focus on the problem of finding tight lower bounds on polynomial optimization problems (POPs), a fundamental task in this area that is most commonly handled through the use of SDP-based sum of squares hierarchies (e.g., due to Lasserre and Parrilo). In contrast to previous approaches, we provide the first theoretical framework for constructing converging hierarchies of lower bounds on POPs whose computation simply requires the ability to multiply certain fixed polynomials together and to check nonnegativity of the coefficients of their product. In the second part of this thesis, we focus on the theory and applications of the problem of optimizing over convex polynomials, a subcase of the problem of optimizing over nonnegative polynomials. (See manuscript for the rest of the abstract.)

研究の動機と目的

• 大規模な多項式問題における和の平方（SOS）最適化における半定値計画法（SDP）の計算ボトルネックを解消すること。
• 半定値計画法に依存せずに、多項式最適化問題における収束する下界の階層を構築するフレームワークを開発すること。
• 立方多項式の凸性のテストの複雑さと最適化への影響を調査すること。
• ロボット工学、機械学習、計量経済学の分野における実世界の問題に、単調性および凸性制約を課して応用すること。

提案手法

• 大規模なSDPを線形計画法または二次錐計画法の逐次的解法に置き換える、2つの適応的でSDPフリーのアルゴリズムを提案する。
• 多項式乗算と係数の非負性チェックのみを用いた、多項式最適化のための新しい下界の階層を構築する。
• 固定された多項式積と係数の符号解析に基づく、収束する下界を構築する理論的枠組みを導入する。
• 立方多項式をボックス領域上で凸性をテストすることはNP困難であることを証明し、凸性検出の複雑さの境界を確立する。
• 正定値二形式のReznickの和の平方表現を、凸形式によって生成されるノルム上でのSDP階層の構築に拡張する。
• フレームワークをロボット工学（3次元点群の最小体積多項式サブレベル集合）および機械学習（単調およびDC回帰）に応用する。

実験結果

リサーチクエスチョン

• RQ1 半定値計画法を解かずに、多項式最適化問題の収束する下界を構築することは可能か？
• RQ2 ボックス領域上での立方多項式の凸性をテストする計算複雑度は何か？
• RQ3 和の平方プログラミングを、より単純な非SDPソルバーに置き換えても、収束性と正確性を維持できるか？
• RQ4 凸多項式および凸形式によって生成されるノルム上での最適化を、どのように効率的に実行できるか？
• RQ5 提案された手法は、単調回帰や運動計画などの実世界の問題に実用的に応用可能か？

主な発見

• 提案されたSDPフリーのアルゴリズムは、CAPおよびFast CAPよりも優れた実行時間性能を達成し、次数2のハイブリッド回帰ではわずか0.24秒で実行されたのに対し、CAPは12.8秒であった。
• 最も性能の優れた単調制約付き多項式回帰では、個人ローンデータセットにおいて平均テストRMSEが4.09（標準誤差0.20）を達成した。
• 週給予測の文脈では、ハイブリッド制約付き次数2多項式がテストRMSE 250.0 ± 39.2を達成し、CAPの385.7 ± 20.8を顕著に上回った。
• ボックス領域上での立方多項式の凸性テストがNP困難であることが証明され、この複雑さの最小次数境界が確立された。
• フレームワークにより、半定値計画法を完全に回避して、多項式乗算と係数の非負性チェックのみを用いて収束する下界を構築できるようになった。
• この手法により、差の凸（DC）計画法が効率的に再定式化され、機械学習分野で最もよく知られたアルゴリズムの一部が高速化された。