[論文レビュー] Inexact Sequential Quadratic Optimization for Minimizing a Stochastic Objective Function Subject to Deterministic Nonlinear Equality Constraints

Frank E. Curtis, Daniel P. Robinson+1 more|arXiv (Cornell University)|Jul 7, 2021

Stochastic Gradient Optimization Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、決定的非線形等式制約のもとで、ノイズのある勾配推定値しか入手できない確率的目的関数を最小化するための不正確な確率的逐次二次計画法（SISQO）を提案する。MINRES などの反復的線形ソルバを用いて部分問題の不正確な解を許容することで、計算コストを低減しつつ期待値における収束性を維持し、数値実験では正確な部分問題解法を上回る性能を示した。

ABSTRACT

An algorithm is proposed, analyzed, and tested experimentally for solving stochastic optimization problems in which the decision variables are constrained to satisfy equations defined by deterministic, smooth, and nonlinear functions. It is assumed that constraint function and derivative values can be computed, but that only stochastic approximations are available for the objective function and its derivatives. The algorithm is of the sequential quadratic optimization variety. A distinguishing feature of the algorithm is that it allows inexact subproblem solutions to be employed, which is particularly useful in large-scale settings when the matrices defining the subproblems are too large to form and/or factorize. Conditions are imposed on the inexact subproblem solutions that account for the fact that only stochastic objective gradient estimates are available. Convergence results in expectation are established for the method. Numerical experiments show that it outperforms an alternative algorithm that employs highly accurate subproblem solutions in every iteration.

研究の動機と目的

• ノイズのある勾配推定値しか入手できない状況下で、決定的非線形等式制約を伴う確率的最適化問題を効率的に解くアルゴリズムの開発。
• 逐次二次計画法（SQP）を、部分問題の解が不正確な場合にも適用可能な確率的設定に拡張し、大規模問題におけるスケーラビリティを向上。
• 確率的勾配近似に特化した不正確さの条件のもとで、期待値における収束性を確立。
• 実験的に、不正確な部分問題解法が反復回数および計算コストの観点で正確な解法を上回る全体的な性能を示すことを確認。
• 実世界の不確実性と制約を伴う応用に適した、1反復あたりのコストとグローバル収束性のバランスを取る実用的アルゴリズムの提供。

提案手法

• アルゴリズムは、決定的非線形等式制約を伴う確率的最適化問題を解くために逐次二次計画法（SQP）を用いる。
• 目的関数およびその微分には確率的勾配推定値を用いるが、制約関数およびその微分は正確に計算する。
• 二次部分問題の不正確な解を許容し、確率的勾配ノイズを考慮した収束条件に適応する。
• 各 SQP 部分問題で生じる不定行列系を解くために反復的線形ソルバ（例：MINRES）を用い、完全な行列分解を回避する。
• 確率的勾配のノイズレベルに応じた不正確さ許容範囲を設定し、最適性への十分な進捗を保証する。
• ステップサイズを決定するためにマーリット関数におけるラインサーチを用い、適切な条件下でグローバル収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 決定的非線形等式制約を伴う確率的最適化問題に対して、不正確な SQP 法を設計・分析することは可能か？
• RQ2 確率的勾配が利用可能である状況下で、不正確な部分問題解法が期待値における収束性を保証するための条件は何か？
• RQ3 不正確な部分問題解法を許容することで、大規模な設定において正確な解法に比べて全体的な性能が向上するか？
• RQ4 不正確さの許容範囲は、確率的勾配推定値のノイズレベルとどのように関係するか？
• RQ5 提案手法は、総合的な計算コストおよび収束速度の観点で、正確な部分問題ソルバを上回る性能を示せるか？

主な発見

• SISQO は、外反復回数が多めであったにもかかわらず、SISQO_exact（正確な部分問題バージョン）よりも平均的な実行可能性および停留性誤差が優れていた。
• 問題 (47) において、εN = 10⁻⁴ の場合、SISQO は SISQO_exact よりも実行可能性誤差を 90% 以上低減し、1外反復あたり 8.9 回の MINRES 反復を要した。
• 問題 (48) において、SISQO は 1外反復あたり 14.5 回の MINRES 反復を要し、実行可能性誤差が 1.68×10⁻⁷ にまで低下したのに対し、SISQO_exact は 1.31×10⁻⁵ の実行可能性誤差を示した。
• すべてのテストケースにおいて、SISQO は SISQO_exact よりも総合的な MINRES 反復回数が少なかったため、線形系の解法においてより高い効率性を示した。
• 確率的勾配ノイズに特化した不正確さの条件のもとで、期待値における収束性を維持しており、正確な手法の理論的保証と一致した。
• 数値結果から、不正確さが1反復あたりのコストとグローバル収束性のトレードオフを改善する効果があることが示され、特に大規模問題において顕著であった。