[논문 리뷰] Theory of functional connections applied to nonlinear programming under equality constraints

Tina Mai, Daniele Mortari|arXiv (Cornell University)|2019. 10. 11.

Advanced Optimization Algorithms Research참고 문헌 20인용 수 8

한 줄 요약

이 논문은 이론적 기능 연결(TFC)을 사용하여 등식 제약 조건을 갖는 이차 및 비선형 프로그래밍 문제에 대한 새로운 폐쇄형 해법을 제안한다. 기존의 라그랑주 승수 방법을 회피함으로써, 타당해를 자유 벡터 𝐠로 매개변수화함으로써 뉴턴 방법과 2차 테일러 근사법을 활용한 효율적 최적화를 가능하게 한다. MATLAB의 quadprog와 비교해 빠른 속도와 높은 정확도를 입증한다.

ABSTRACT

This paper introduces an efficient approach to solve quadratic programming problems subject to equality constraints via the Theory of Functional Connections. This is done without using the traditional Lagrange multipliers approach, and the solution is provided in closed-form. Two distinct constrained expressions (satisfying the equality constraints) are introduced. The unknown vector optimization variable is then the free vector $\B{g}$, introduced by the Theory of Functional Connections, to derive constrained expressions. The solution to the general nonlinear programming problem is obtained by the Newton's method in optimization, and each iteration involves the second-order Taylor approximation, starting from an initial vector $\B{x}^{(0)}$ which is a solution of the equality constraint. To solve the quadratic programming problems, we not only introduce the new approach but also provide a numerical accuracy and speed comparisons with respect to MATLAB's \verbquadprog. To handle the nonlinear programming problem using the Theory of Functional Connections, convergence analysis of the proposed approach is provided.

연구 동기 및 목표

• 등식 제약 조건이 있는 이차 프로그래밍 문제에 대해 라그랑주 승수에 의존하지 않고 직접적이고 폐쇄형 해법을 개발하는 것.
• 반복 최적화를 통해 일반적인 비선형 프로그래밍 문제로 이 접근법을 확장하는 것.
• 기존의 솔버(예: MATLAB의 quadprog)와 비교해 계산 효율성과 수치 정확도를 향상시키는 것.
• 제안된 TFC 기반 최적화 프레임워크의 수렴 특성을 분석하는 것.

제안 방법

• 이론적 기능 연결을 사용하여 주어진 등식 제약 조건을 만족하는 두 가지 서로 다른 제약 조건 표현을 도입한다.
• 모든 타당해를 자유 벡터 𝐠로 매개변수화함으로써 제약 조건이 있는 문제를 𝐠에 대한 비제약 최적화 문제로 변환한다.
• 목적 함수를 반복적으로 최소화하기 위해 뉴턴 방법과 2차 테일러 근사법을 적용한다.
• 각 반복을 등식 제약 조건을 이미 만족하는 초기 추측값 𝐱⁽⁰⁾에서 시작함으로써, 전체 과정에서 타당성이 유지되도록 한다.
• TFC 프레임워크를 사용해 제약 조건을 기능 형식에 직접 통합함으로써, 페널티 또는 벽함수 방법의 필요성을 제거한다.
• 테스트 문제에서 속도와 정확도를 평가하기 위해 MATLAB의 quadprog와 수치적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 이론적 기능 연결(TFC)은 라그랑주 승수를 사용하지 않고 등식 제약 조건이 있는 이차 프로그래밍 문제에 대해 폐쇄형 해법을 제공할 수 있는가?
• RQ2 제약 조건이 있는 이차 프로그래밍 문제를 해결할 때 TFC 기반 접근법은 MATLAB의 quadprog와 비교해 속도와 정확도에서 어떻게 비교되는가?
• RQ3 반복 최적화를 통해 TFC 프레임워크는 일반적인 비선형 프로그래밍 문제로 효과적으로 확장될 수 있는가?
• RQ4 비선형 프로그래밍 문제에 대해 제안된 TFC 기반 뉴턴 방법의 수렴 거동은 어떠한가?

주요 결과

• 제안된 방법은 TFC를 통해 제약 조건을 기능 형식에 직접 통합함으로써 등식 제약 조건이 있는 이차 프로그래밍 문제에 대해 폐쇄형 해법을 달성한다.
• 기준 테스트에서 MATLAB의 quadprog와 비교해 뛰어난 계산 속도와 수치 정확도를 보여준다.
• 타당한 초기점 𝐱⁽⁰⁾에서 시작할 경우 뉴턴 방법과 2차 테일러 근사법이 빠른 수렴을 보장한다.
• TFC 기반의 설정은 라그랑주 승수의 필요성을 제거하여 최적화 과정을 단순화하고 계산 오버헤드를 감소시킨다.
• 수렴 분석을 통해 비선형 프로그래밍 문제에 대한 반복 최적화 기법의 안정성과 효과성을 확인한다.
• 해결 공간이 TFC 매개변수화를 통해 본질적으로 제약 조건이 걸려 있으므로, 방법은 모든 반복 과정에서 타당성을 유지한다.