[論文レビュー] On the behavior of Lagrange multipliers in convex and non-convex infeasible interior point methods

Gabriel Haeser, Oliver Hinder+1 more|arXiv (Cornell University)|Jul 23, 2017

Advanced Optimization Algorithms Research参考文献 38被引用数 7

ひとこと要約

本稿は、凸および非凸最適化における不実行内点法（IPM）におけるラグランジュ乗数の挙動を分析する。KKT点が存在する限り、プライマル不実行性の減少率をバrierパラメータμに一致させることで、双対乗数が有界であることと厳密補完性が保証されることを証明する。この知見は、IPOPTにおける実用的問題を説明し、HinderとYeの1段階IPMを裏付ける。

ABSTRACT

We analyze sequences generated by interior point methods (IPMs) in convex and nonconvex settings. We prove that moving the primal feasibility at the same rate as the barrier parameter $μ$ ensures the Lagrange multiplier sequence remains bounded, provided the limit point of the primal sequence has a Lagrange multiplier. This result does not require constraint qualifications. We also guarantee the IPM finds a solution satisfying strict complementarity if one exists. On the other hand, if the primal feasibility is reduced too slowly, then the algorithm converges to a point of minimal complementarity; if the primal feasibility is reduced too quickly and the set of Lagrange multipliers is unbounded, then the norm of the Lagrange multiplier tends to infinity. Our theory has important implications for the design of IPMs. Specifically, we show that IPOPT, an algorithm that does not carefully control primal feasibility has practical issues with the dual multipliers values growing to unnecessarily large values. Conversely, the one-phase IPM of \citet*{hinder2018one}, an algorithm that controls primal feasibility as our theory suggests, has no such issue.

研究の動機と目的

• 凸および非凸最適化問題における不実行内点法（IPM）におけるラグランジュ乗数の挙動を理解すること。
• 制約準拠（例：MFCQ）が成立しない場合でも、IPMの反復中に双対乗数が有界のままである条件を特定すること。
• IPOPTのようなソルバで双対乗数が著しく大きくなる実用的問題を説明すること。
• プライマル不実行性の減少率をバリアパラメータμに対して制御することが、安定な双対反復を確保する上で極めて重要であることを示すこと。
• HinderとYeの1段階IPMが、不実行性とμの減少率を一致させることで、これらの問題を回避できることを示すこと。

提案手法

• スラック変数s ≥ 0と不実行性a(x) + s = 0を用いたログバリア問題として得られる反復列を分析する。
• プライマル不実行性の減少率をバリアパラメータμに一致させることで、双対乗数列が有界である理論的条件を確立する。
• 中央パスフレームワークを用い、制約準拠を要件としないKKT点への収束を検討する。
• 理論を適用し、プライマル不実行性がμと同じ速度で減少する場合、双対乗数が有界であり、厳密補完性が達成されることを示す。
• IPOPTおよびテスト問題（NETLIBや水ネットワーク問題を含む）における1段階IPMの数値結果と理論的予測を比較する。
• 数値実験を用いて理論的発見を検証し、反復ごとの最大双対ノルムと厳密補完性を測定する。

実験結果

リサーチクエスチョン

• RQ1 非凸問題における不実行IPMで、ラグランジュ乗数がいつ有界のままであるか。
• RQ2 プライマル不実行性の減少率をバリアパラメータμに対して異なる速度で行うと、双対乗数の挙動にどのような影響を与えるか。
• RQ3 非凸問題において、不実行IPMを用いて厳密補完性を達成できるか。その条件は何か。
• RQ4 なぜIPOPTのようなソルバでは実際の計算で双対乗数が無限大に発散するのか。その原因は何か。また、どのように回避できるか。
• RQ5 HinderとYeの1段階IPMは、標準実装と比較して、なぜ双対乗数の爆発を回避できるのか。

主な発見

• プライマル不実行性がバリアパラメータμと同じ速度で減少する場合、KKT点が存在する限り、ラグランジュ乗数列は有界のままである。
• そのような解が存在する場合、アルゴリズムは非凸設定下でも厳密補完性を満たす解に収束する。
• プライマル不実行性の減少が遅すぎる場合、最小補完性の点に収束し、双対乗数は無限大に発散する。
• プライマル不実行性の減少が速すぎて、ラグランジュ乗数の集合が有界でない場合、双対乗数のノルムは無限大に近づく。
• 数値結果から、IPOPTでは特定の問題で双対乗数が最大6.6×10⁹にまで上昇することが判明し、不安定性を示している。
• HinderとYeの1段階IPMは、双対乗数を有界に保ち（最大∞ノルム ≈ 1.7）、IPOPTで見られる問題を回避しており、理論的枠組みの妥当性を裏付けている。