[論文レビュー] An adaptive discretization method solving semi-infinite optimization problems with quadratic rate of convergence

Tobias Seidel, Karl‐Heinz Küfer|arXiv (Cornell University)|Oct 30, 2019

Optimization and Variational Analysis参考文献 25被引用数 13

ひとこと要約

本稿では、下位問題の線形化された制約を離散化された部分問題に組み込むことで、二次収束を達成する、半無限計画問題向けの適応的離散化手法quADAPTを提案する。KKT条件と感度情報を利用することで、古典的手法であるBlankenshipとFalkの手法に比べて収束速度が向上し、強い安定性仮定のもとで反復点が二次的に停留点に収束することを保証する。

ABSTRACT

Semi-infinite programming can be used to model a large variety of complex optimization problems. The simple description of such problems comes at a price: semi-infinite problems are often harder to solve than finite nonlinear problems. In this paper we combine a classical adaptive discretization method developed by Blankenship and Falk and techniques regarding a semi-infinite optimization problem as a bi-level optimization problem. We develop a new adaptive discretization method which combines the advantages of both techniques and exhibits a quadratic rate of convergence. We further show that a limit of the iterates is a stationary point, if the iterates are stationary points of the approximate problems.

研究の動機と目的

• 古典的手法（BlankenshipとFalkの手法）に見られるような、通常は一次収束にとどまる、適応的離散化手法の収束が遅いという問題に対処すること。
• 下位問題からの感度情報を取り入れることで、半無限計画問題に対して二次収束を達成する手法の開発。
• 反復点の極限点が元の半無限計画問題の停留点であることを保証すること。
• 高精度解に到達するまでの反復回数と離散化点の数を削減すること。

提案手法

• 下位問題の最適性条件に基づいて導出された追加の線形制約を含む、修正された離散化問題（SIPk_mod）を導入する。
• 下位問題の最適性条件を表現するための還元仮説（Reduction Ansatz）を用い、上位変数に関する最適値関数の勾配（感度情報）を導出可能にする。
• 各反復で、現在の離散化点の集合と、未探索領域を反映した注入された線形制約を含む離散化問題を解く。
• 現在の反復点の周囲で違反関数の一次テイラー展開を適用し、全インデックス集合における最大違反の線形下界を構築する。
• 新しい制約が現在の反復点でのみ活性化され、局所的感度を反映するように反復的に更新されることを保証する。
• 強い安定性およびEMFCQ仮定を用いて、解パスの局所的一意性と停留性を保証する。

実験結果

リサーチクエスチョン

• RQ1 修正された適応的離散化手法は、古典的手法（BlankenshipとFalkの手法）とは異なり、半無限計画問題において二次収束を達成できるか？
• RQ2 反復点の極限点が元の半無限計画問題の停留点であるための条件は何か？
• RQ3 下位問題からの感度情報は、どのように上位問題の部分問題に組み込むことで収束を加速できるか？
• RQ4 本手法は、古典的手法に比べて反復回数と離散化点の数を削減できるか？
• RQ5 収束速度および計算負荷の観点から、定量的な性能向上はどの程度か？

主な発見

• 強い安定性仮定のもとで、提案手法quADAPTは反復点が半無限計画問題の停留点に二次収束することを保証する。
• 各部分問題の解がKKT点である限り、反復点のすべての極限点が元のSIPの停留点であることを保証する。
• 数値実験の結果、quADAPTは3反復（0.74秒）で許容誤差10−4に到達したが、古典的手法（BlankenshipとFalk）では14反復（2.06秒）を要した。これにより、反復回数と実行時間の大幅な削減が確認された。
• quADAPTでは3反復で最適解からの距離が3.4975から1.0989×10−5にまで減少したのに対し、古典的手法では0.7586にとどまった。
• 各二分探索ステップごとに点を追加する必要がなくなるため、離散化点の数を削減し、部分問題の解法が高速化された。
• 理論的分析により、未探索領域を捉える線形化された制約の組み込みのおかげで、二次収束率が保たれることを確認した。