[論文レビュー] Response to "Counterexample to global convergence of DSOS and SDSOS hierarchies"

Amir Ali Ahmadi, Anirudha Majumdar|arXiv (Cornell University)|Oct 9, 2017

Fault Detection and Control Systems参考文献 7被引用数 4

ひとこと要約

本論文は、多項式最適化におけるDSOSおよびSDSOS階層がグローバルに収束しないという批判に応えるものである。著者らは、批判で定義された特定の階層について、その収束を主張したことはないが、代わりに収束性を示す(S)DSOSに基づく階層の存在を主張した。この主張は、既存のLPおよびSOCPに基づく階層を用いて正当化された。著者らは、スケーラビリティに関する主張に対しても反論し、SOCP制約の数が指数的ではなく多項式的に増加することを示し、大規模問題において顕著な計算上の利点を示した。

ABSTRACT

In a recent note [8], the author provides a counterexample to the global convergence of what his work refers to as "the DSOS and SDSOS hierarchies" for polynomial optimization problems (POPs) and purports that this refutes claims in our extended abstract [4] and slides in [3]. The goal of this paper is to clarify that neither [4], nor [3], and certainly not our full paper [5], ever defined DSOS or SDSOS hierarchies as it is done in [8]. It goes without saying that no claims about convergence properties of the hierarchies in [8] were ever made as a consequence. What was stated in [4,3] was completely different: we stated that there exist hierarchies based on DSOS and SDSOS optimization that converge. This is indeed true as we discuss in this response. We also emphasize that we were well aware that some (S)DSOS hierarchies do not converge even if their natural SOS counterparts do. This is readily implied by an example in our prior work [5], which makes the counterexample in [8] superfluous. Finally, we provide concrete counterarguments to claims made in [8] that aim to challenge the scalability improvements obtained by DSOS and SDSOS optimization as compared to sum of squares (SOS) optimization. [3] A. A. Ahmadi and A. Majumdar. DSOS and SDSOS: More tractable alternatives to SOS. Slides at the meeting on Geometry and Algebra of Linear Matrix Inequalities, CIRM, Marseille, 2013. [4] A. A. Ahmadi and A. Majumdar. DSOS and SDSOS optimization: LP and SOCP-based alternatives to sum of squares optimization. In proceedings of the 48th annual IEEE Conference on Information Sciences and Systems, 2014. [5] A. A. Ahmadi and A. Majumdar. DSOS and SDSOS optimization: more tractable alternatives to sum of squares and semidefinite optimization. arXiv:1706.02586, 2017. [8] C. Josz. Counterexample to global convergence of DSOS and SDSOS hierarchies. arXiv:1707.02964, 2017.

研究の動機と目的

• 最近の批判で主張された、著者らがDSOSおよびSDSOS階層についてグローバル収束を主張したとされる誤解を是正すること。
• 著者らの元々の研究で、批判で提示された特定の階層について、収束性を定義または主張したことはないということを再確認すること。
• 既存のLPおよびSOCPに基づく階層を応用することで、収束性を示す(S)DSOSに基づく階層が実際に存在することを示すこと。
• SOCP制約の数が指数的に増加するとしての(S)DSOS最適化のSOSよりの tractability の劣化という主張を反証すること。
• (S)DSOSプログラミングが大規模な多項式最適化問題において実用的でスケーラブルな利点を提供することを強調すること。

提案手法

• 批判で定義された特定の階層と、著者らが実際に議論した(S)DSOSに基づく階層の一般クラスを明確に区別すること。
• 既存の収束性を示す階層（例えば、Lasserre、Peña-Vera-Zuluaga、Ahmadi-Hall）を用いて、(S)DSOSに基づく収束性を示す階層が存在することを証明すること。
• SDSOSプログラムにおける半定値制約をSOCP制約に置き換えた場合、制約数が指数的ではなく多項式的に増加することを示すこと。
• SOSプログラミングと同一の行列サイズを維持するが、高価なSDP制約を安価なSOCP制約に置き換えることで、計算速度の顕著な向上を実現できることを示すこと。
• 元の論文[5]の定理10および定理12を用いて理論的根拠を提示し、多項式時間で解けることの同等性を示すこと。
• ロボット工学、制御、組合せ最適化など多様な分野からの数値例を用いて、スケーラビリティおよび実用的性能を検証すること。

実験結果

リサーチクエスチョン

• RQ1 批判で定義されたDSOSおよびSDSOS階層は、著者らの以前の研究で主張された何らかの主張を実際に反証しているのか？
• RQ2 DSOSおよびSDSOS最適化に基づくグローバルに収束する階層を正当に構築できるのか？
• RQ3 SDSOSプログラムにおける2次錐制約の数は、階層の順序とともに指数的に増加するのか？
• RQ4 (S)DSOS最適化は、大規模問題においてSOSプログラミングよりも実用的でスケーラブルな利点を提供できるのか？
• RQ5 (S)DSOSプログラミングの保守性は、SOSと比較してその実用的有用性を損なうほど顕著なものなのか？

主な発見

• 批判で定義された特定のDSOSおよびSDSOS階層について、著者らはグローバル収束を主張したことはないため、その反例は著者らの主張を反証しない。
• 既存のLPおよびSOCPに基づく階層を(S)DSOS形式に適応することで、DSOSおよびSDSOS最適化に基づく収束性を示す複数の階層が実際に存在することが示された。
• SDSOS階層における2次錐制約の数は、階層の順序とともに指数的ではなく多項式的に増加する。批判で主張された指数的増加とは異なる。
• (S)DSOSフレームワークはSOSプログラミングと同一の行列サイズを維持するが、高価な半定値制約を安価なSOCP制約に置き換えることで、顕著な計算速度の向上が可能になる。
• 実用的応用例として、30次元のヒューマノイドロボット制御問題では、SOSプログラミングでは計算的に非現実的であったが、(S)DSOSプログラミングにより解決が可能となった。
• (S)DSOSの保守性は小さく、元の論文の第5節で示された反復的改善手法により緩和可能である。