[論文レビュー] Theory of functional connections applied to nonlinear programming under equality constraints

Tina Mai, Daniele Mortari|arXiv (Cornell University)|Oct 11, 2019

Advanced Optimization Algorithms Research参考文献 20被引用数 8

ひとこと要約

本稿では、理論的関数接続（TFC）を用いて等式制約を伴う二次計画および非線形計画問題の新たな閉形式解を提案する。ラグランジュ乗数法を回避する手法であり、自由ベクトル 𝐠 を用いた可変性により、二階テイラー近似を用いたニュートン法による効率的な最適化が可能である。MATLAB の quadprog と比較して、高速かつ高精度であることが示された。

ABSTRACT

This paper introduces an efficient approach to solve quadratic programming problems subject to equality constraints via the Theory of Functional Connections. This is done without using the traditional Lagrange multipliers approach, and the solution is provided in closed-form. Two distinct constrained expressions (satisfying the equality constraints) are introduced. The unknown vector optimization variable is then the free vector $\B{g}$, introduced by the Theory of Functional Connections, to derive constrained expressions. The solution to the general nonlinear programming problem is obtained by the Newton's method in optimization, and each iteration involves the second-order Taylor approximation, starting from an initial vector $\B{x}^{(0)}$ which is a solution of the equality constraint. To solve the quadratic programming problems, we not only introduce the new approach but also provide a numerical accuracy and speed comparisons with respect to MATLAB's \verbquadprog. To handle the nonlinear programming problem using the Theory of Functional Connections, convergence analysis of the proposed approach is provided.

研究の動機と目的

• 等式制約下での二次計画問題に対して、ラグランジュ乗数法に依存しない直接的かつ閉形式の解法を開発すること。
• 反復的最適化を用いて、一般の非線形計画問題へその手法を拡張すること。
• MATLAB の quadprog などの標準ソルバーと比較して、計算効率と数値的精度を向上させること。
• 提案された TFCに基づく最適化フレームワークの収束特性を分析すること。

提案手法

• 理論的関数接続（TFC）を用いて、与えられた等式制約を満たす2つの異なる制約付き表現を導入する。
• 自由ベクトル 𝐠 を用いて、すべての実行可能解をパラメータ化し、制約付き問題を 𝐠 に関する無制約最適化問題に変換する。
• 目的関数を反復的に最小化するために、二階テイラー近似を用いたニュートン法を適用する。
• 各反復を、すでに等式制約を満たす初期推定値 𝐱⁽⁰⁾ から開始し、反復全体を通して実行可能性を保証する。
• TFCフレームワークを用いて、制約を関数形に直接埋め込み、罰則法やバリア法の必要性を排除する。
• テスト問題における速度と精度を評価するため、MATLAB の quadprog と数値比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 理論的関数接続（TFC）は、ラグランジュ乗数法を用いずに、等式制約下での二次計画問題に対して閉形式解を提供できるか？
• RQ2 MATLAB の quadprog と比較して、TFCに基づくアプローチは、制約付き二次計画問題の解法において、速度と精度で優れているか？
• RQ3 反復的最適化を用いて、TFCフレームワークを一般の非線形計画問題へ効果的に拡張できるか？
• RQ4 非線形計画問題に対する、提案された TFCに基づくニュートン法の収束挙動はいかなるものか？

主な発見

• 提案手法は、TFCを用いて制約を関数形に直接埋め込むことで、等式制約下での二次計画問題に対して閉形式解を達成した。
• ベンチマークテストにおいて、MATLAB の quadprog と比較して、計算速度と数値的精度の両面で優れた性能を示した。
• 初期点 𝐱⁽⁰⁾ が実行可能である限り、二階テイラー近似を用いたニュートン法により、高速な収束が保証された。
• ラグランジュ乗数法の必要性を回避することで、最適化プロセスが簡素化され、計算オーバーヘッドが低減された。
• 収束解析により、非線形計画問題に対する反復的最適化スキームの安定性と有効性が確認された。
• TFCのパラメータ化により、解空間が本質的に制約されているため、反復の全過程で実行可能性が構成上保たれた。