[論文レビュー] A feasible second order bundle algorithm for nonsmooth nonconvex optimization problems with inequality constraints: II. Implementation and numerical results

Hannes Fendl, Hermann Schichl|arXiv (Cornell University)|Jun 26, 2015

Advanced Optimization Algorithms Research参考文献 20被引用数 3

ひとこと要約

本稿では、不連続で非凸な最適化問題に不等式制約を含む実用的な2次最適化バンドル法の実装を提示する。探索方向の計算に凸二次制約付き二次計画問題（QCQP）を用い、MPBNGC や SolvOpt より優れた性能を示しており、特に高次元問題や解において多くの制約が活性化される場合に顕著である。

ABSTRACT

This paper presents a concrete implementation of the feasible second order bundle algorithm for nonsmooth, nonconvex optimization problems with inequality constraints \cite{HannesPaperB}. It computes the search direction by solving a convex quadratically constrained quadratic program. Furthermore, certain versions of the search direction problem are discussed and the applicability of this approach is justified numerically by using different solvers for the computation of the search direction. Finally, the good performance of the second order bundle algorithm is demonstrated by comparison with test results of other solvers on examples of the Hock-Schittkowski collection, on custom examples that arise in the context of finding exclusion boxes for quadratic constraint satisfaction problems, and on higher dimensional piecewise quadratic examples.

研究の動機と目的

• 勾配ベースの手法が微分不能性のため失敗する不連続で非凸な最適化問題に不等式制約を含む課題に対処すること。
• 実行可能性を維持し、2次情報を利用することで収束を高速化する2次バンドル法の信頼性と効率性の高い実装を開発すること。
• Hock-Schittkowski コレクションからのテスト問題、二次制約満たし問題、高次元の区分的二次関数例を含む、困難なテスト問題においても頑健な性能を発揮すること。
• QCQPに基づく探索方向計算の選択を正当化するため、複数のソルバを比較し、数値的安定性と効率性を示すこと。

提案手法

• 探索方向の計算を凸二次制約付き二次計画問題（QCQP）として定式化し、2次情報の利用を可能にする。
• 制約を扱うために順次二次計画法（SQP）に類似したアプローチを採用し、制約関数の二次近似を組み合わせる。
• 実行可能解のみを許容する真のステップ（serious steps）を採用することで、反復の全過程で制約の満たされ方を厳密に保証する。
• 適切な場合に制約違反を許容する試行点を受け入れるラインサーチ戦略を実装し、従来のバンドル法が反復点を拒否するのとは異なる。
• QCQP部分問題における強い双対性を活用し、意味のある終了基準とグローバル収束の保証を可能にする。
• 複数のQPソルバと統合することで、選択した定式化の頑健性と性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 不連続で非凸な最適化問題に不等式制約を含む文脈において、実行可能解を保つ2次バンドル法を効果的に実装できるか？
• RQ2 探索方向の計算にQCQP定式化を用いることで、他の手法と比較して収束性および数値的性能にどのような影響を与えるか？
• RQ3 ベンチマーク問題およびアプリケーション固有のテスト問題において、MPBNGC や SolvOpt といった既存のソルバと比較して、本アルゴリズムの性能はいかがなものか？
• RQ4 高次元問題や解において多くの制約が活性化される状況でも、本アルゴリズムは優れた性能を維持できるか？
• RQ5 リアルタイムまたは埋め込み応用で求められる関数評価回数や計算リソースの制限内で、収束を信頼性高く達成できるか？

主な発見

• Hock-Schittkowski テストセットにおいて、m₂ = N の場合、20/100 の例で削減されたアルゴリズムが MPBNGC より顕著に優れている。
• 多くの制約が活性化される高次元の区分的二次関数問題において、他のソルバーよりも優れた収束特性と効率性を示している。
• m₂ = N の100例の困難な問題の97%において、削減されたアルゴリズムはソリューション時間で SolvOpt を顕著に上回るか、同等の性能を発揮しており、SolvOpt が顕著に優れる例は5例にとどまる。
• m₂ = N の100例中78例で MPBNGC は反復回数制限内で収束に失敗しているが、削減されたアルゴリズムは22例で正常に収束し、そのうち15例で MPBNGC を上回った。
• 本アルゴリズムは頑健性とスケーラビリティを示しており、次元が高くなるほど、また複雑な不連続構造を有する問題においても性能が向上する。
• QCQPに基づく探索方向の選択は、異なるソルバが一貫して信頼性のある結果をもたらすため、数値的に正当化されており、本手法の妥当性を裏付ける。