[論文レビュー] Sequential Convex Programming Methods for Solving Nonlinear Optimization Problems with DC constraints

Tran Dinh Quoc, Moritz Diehl|arXiv (Cornell University)|Jul 28, 2011

Advanced Optimization Algorithms Research参考文献 20被引用数 38

ひとこと要約

本稿では、DC（凸関数の差）制約を有する非線形最適化問題を解くための逐次凸プログラミング（SCP）アルゴリズムを提案する。この手法は、DC関数の凹関数部分の凸化を活用する。グローバル収束性が証明され、不実行性を有する部分問題を扱うために、正確なL1ペナルティを用いた緩和技術が導入されており、MPCCおよび非凸二次計画問題における数値実験で、標準的なペナルティ法に比べて優れた数値的挙動を示した。

ABSTRACT

This paper investigates the relation between sequential convex programming (SCP) as, e.g., defined in [24] and DC (difference of two convex functions) programming. We first present an SCP algorithm for solving nonlinear optimization problems with DC constraints and prove its convergence. Then we combine the proposed algorithm with a relaxation technique to handle inconsistent linearizations. Numerical tests are performed to investigate the behaviour of the class of algorithms.

研究の動機と目的

• 逐次凸プログラミング（SCP）とDCプログラミングを結びつけるために、SCPをDCプログラミングの特別な場合として定式化すること。
• 非凸問題の局所最適化を目的として、制約におけるDC構造を保ったSCPアルゴリズムを開発すること。
• 線形化によって生じる凸部分問題の不実行性に対処するため、正確なL1ペナルティに基づく緩和技術を導入すること。
• 数学的計画問題における補完制約（MPCC）および非凸二次計画問題に対して、アルゴリズムの有効性を示すこと。
• 保守的過剰な制約を避けるとともに、ラインサーチや信頼領域戦略なしに完全なSCPステップを可能にする。

提案手法

• アルゴリズムは、DC制約の凹関数部分を線形化しながら、凸部分はそのままで、反復的に凸部分問題を解く。
• 不一致する線形化を扱うために、正確なL1ペナルティ関数に基づく緩和技術を用い、部分問題の実行可能性を保証する。
• 補完制約を凸関数の差として表現することで、MPCC問題をDCプログラムに再定式化する。
• MPCC制約を、u(w) - v(w) ≤ 0 の形に表現する新しい変数変換を導入する。ここで、uは強凸関数、vは凸関数である。
• 凸部分問題を解くために、CVXパッケージとSedumiソルバを用いて実装する。
• 弱い仮定の下で収束性が証明されており、先行研究（Quoc2009b）で確立された線形局所収束レートをここでも活用する。

実験結果

リサーチクエスチョン

• RQ1 SCP手法を、DC制約を有する非凸最適化問題を解くために、DCプログラミングと体系的に関連付けることは可能か？
• RQ2 線形化によって生じるSCP部分問題の不実行性を、収束性を損なわず、かつ保守的にならずに効果的に緩和することは可能か？
• RQ3 SCP部分問題に正確なL1ペナルティ緩和を用いることで、標準的なペナルティベースDCプログラミングに比べて、より優れた数値的性能が得られるか？
• RQ4 提案されたSCP-DCフレームワークは、MPCCおよび非凸二次計画問題に適用可能であり、信頼性の高い収束性と精度を有するか？
• RQ5 ベンチマーク問題における、アルゴリズムの実行可能性、最適性、計算効率の挙動はいかなるものか？

主な発見

• 提案されたDC制約付きSCPアルゴリズムは、弱い仮定の下で、KKT点にグローバル収束する。これは先行研究で確立されており、本稿でも適用されている。
• 問題P7では、9反復でf* = 64.999、誤差7×10⁻⁷、実行可能性ギャップ5×10⁻¹¹を達成し、Facchinei1999の結果とよく一致した。
• 問題P9では、複数の初期点から18〜19反復でf* ≈ 1.35×10⁻¹¹、誤差 ≈ 2×10⁻⁵、実行可能性ギャップ ≈ 1×10⁻¹⁰に収束した。
• 問題P10では、17反復でf* = -6600、誤差3×10⁻⁵、実行可能性ギャップ3×10⁻⁸に達し、頑健な性能を示した。
• アルゴリズム1は、実行可能領域の内部が空であったため失敗したが、アルゴリズム2は成功した。これにより、緩和技術の優位性が示された。
• 正確なL1ペナルティを用いた緩和技術は、標準的なペナルティベースDCプログラミングに比べて、より保守的でない部分問題を生み出し、数値的挙動が改善された。