[論文レビュー] An Experimental Comparison of SONC and SOS Certificates for Unconstrained Optimization

Henning Seidler, Timo de Wolff|arXiv (Cornell University)|Aug 25, 2018

Advanced Optimization Algorithms Research参考文献 11被引用数 18

ひとこと要約

本稿では、幾何学的プログラミングを活用して、非負の回路多項式の和（SONC）を用いた、非制約多項式最適化の下界を多項式時間で計算するアルゴリズムを提示する。大規模な実験により、SONC/GPはSOS/SDPに比べ、速度、メモリ効率、スケーラビリティの面で優れていることが示された。SONCは98.9%のケースで下界を算出できたのに対し、SOSは31.4%にとどまり、特に大規模かつスパースなインスタンスでは、SOSはメモリ不足や数値的問題により失敗するが、SONCはその点で顕著に優れている。

ABSTRACT

Finding the minimum of a multivariate real polynomial is a well-known hard problem with various applications. We present a polynomial time algorithm to approximate such lower bounds via sums of nonnegative circuit polynomials (SONC). As a main result, we carry out the first large-scale comparison of SONC, using this algorithm and different geometric programming (GP) solvers, with the classical sums of squares (SOS) approach, using several of the most common semidefinite programming (SDP) solvers. SONC yields bounds competitive to SOS in several cases, but using significantly less time and memory. In particular, SONC/GP can handle much larger problem instances than SOS/SDP.

研究の動機と目的

• 大規模またはスパースな多項式に対して、半正定値計画法（SDP）による和の平方（SOS）の計算コストとメモリ要件の高さといった限界を克服すること。
• 任意のニュートン多面体を持つ多項式に対して、手動による介入を排除した、体系的かつ自動化されたSONC証明の生成アルゴリズムを構築すること。
• 多様な多項式インスタンスにわたる、SONC（幾何学的プログラミングを介して）とSOS（半正定値計画法を介して）の包括的かつ大規模な実験的比較を実施すること。
• 実行時間、メモリ使用量、成功確率の観点から、SONCとSOSの性能、スケーラビリティ、耐障害性を、大規模最適化問題において評価すること。
• 特に高次元およびスパースなインスタンスにおいて、SONCをSOSの代替として実用的かつ効率的な選択肢として確立すること。

提案手法

• 多項式のニュートン多面体を被覆するための、複数の線形最適化問題を解くことでSONC証明を計算する、新規アルゴリズム（アルゴリズム3.4）を提案する。
• 幾何学的プログラミングにおける係数の変数分割を用いてSONC分解を生成し、2つの戦略（偶数分割と変数分割）を採用する。
• POEMソフトウェアフレームワークに実装することで、人為的入力を要しない、任意のスパース多項式に対するエンドツーエンドの自動化を実現する。
• SONC計算の主要な幾何学的プログラミングソルバーとしてECOSを採用し、SOS証明のための複数の標準SDPソルバーと比較する。
• 変数数（2〜40）、次数（6〜60）、項数（6〜500）が異なる16,921インスタンスの包括的テストデータベースを構築する。このうち501例は自明な単項式の平方ケースを含む。
• 16 GB RAM環境下でSDPソルバーの実用的限界として1000×1000行列サイズの閾値を設定し、メモリ制限によりSOSが失敗するケースの分類に用いる。

実験結果

リサーチクエスチョン

• RQ1 任意のニュートン多面体を持つスパース多項式に対して、体系的かつ自動化されたアルゴリズムが多項式時間でSONC証明を計算できるか？
• RQ2 大規模かつ多様な多項式最適化インスタンスのセットにおいて、SONC/GPとSOS/SDPの実行時間、メモリ使用量、成功確率の観点での性能比較は？
• RQ3 SOSがメモリ制限や数値的問題により失敗するケースで、SONCが成功するケースはどれほどで、逆にSONCが失敗するがSOSが成功するケースは？
• RQ4 両者が計算可能な場合、SONCとSOSの下界の相対的な質はどの程度で、最適性ギャップの観点からどのように比較できるか？
• RQ5 係数分割戦略（偶数分割対変数分割）の選択が、SONCの下界の質と速度にどのように影響するか？

主な発見

• SONC/GPは16,420件の非自明なテストケースのうち16,240件（98.9%）で有効な下界を算出できたが、SOS/SDPは5,161件（31.4%）にとどまった。
• 11,760件（71.6%）のケースで、SONCはSOSがメモリ制限や数値的問題により失敗する状況でも成功しており、SONCの優れたスケーラビリティと耐障害性が顕著に示された。
• 両手法が成功した場合、SOSは3,693件（82.5%）でSONCよりも良い下界を生成したが、そのうち782件ではニュートン多面体がスケーリングされた標準単体であった。この場合、SOSは理論的にもSONC以上に良い結果を出すことが保証されている。
• 下界の差が1を超える1,625件のケースでは、SONCがSOSよりも良い下界を生成したことがある。これは、特定のインスタンスにおいて非自明な利点があることを示している。
• 両手法が下界を生成したケースの99.5%以上で、SONCはSOSよりも高速であった。最大40変数、500項のインスタンスですでに通常5分以内に実行が完了した。
• SONCはSOSに比べてはるかに少ないメモリを消費した。SOSは16 GB RAM環境下で約1000×1000行列のSDPに制限されるが、SONCは40変数、500項のインスタンスを効率的に処理できた。