[논문 리뷰] Transform the Non-linear Programming Problem to the Initial-value Problem to Solve

Sheng Zhang, Fei Liao외 2명|arXiv (Cornell University)|2018. 04. 25.

Spacecraft Dynamics and Control참고 문헌 34인용 수 3

한 줄 요약

이 논문은 비선형 프로그래밍 문제의 등식 및 부등식 제약 조건을 새로운 동적 최적화 방정식(DOE)을 사용하여 초기값 문제(IVP)로 변환하는 동적 최적화 방법을 제안한다. 리아푸노프 안정성 이론과 행렬의 의사역행렬을 활용하여, 제약 조건의 선형 독립성을 요구하지 않으며 최적 해로의 전역 수렴을 보장한다. 이로 인해 표준 상미분 방정식(OED) 해법기를 통해 이론적 보장을 받는 효율적인 수치적 해를 구현할 수 있다.

ABSTRACT

A dynamic method to solve the Non-linear Programming (NLP) problem with Equality Constraints (ECs) and Inequality Constraints (IECs) is proposed. Inspired by the Lyapunov continuous-time dynamics stability theory in the control field, the optimal solution is analogized to the stable equilibrium point of a finite-dimensional dynamic system and it is solved in an asymptotic manner. Under the premise that the Karush-Kuhn-Tucker (KKT) optimality condition exists, the Dynamic Optimization Equation (DOE), which has the same dimension to that of the optimization parameter vector, is established and its solution will converge to the optimal solution of the NLP globally with a theoretical guarantee. Using the matrix pseudo-inverse, the DOE is valid even without the linearly independent regularity requirement on the nonlinear constraints. In addition, the analytic expressions of the Lagrange multipliers and KKT multipliers, which adjoin the ECs and the IECs respectively during the entire optimization process, are also derived. Via the proposed method, the NLP may be transformed to the Initial-value Problem (IVP) to be solved, with mature Ordinary Differential Equation (ODE) integration methods. Illustrative examples are solved and it is shown that the dynamic method developed may produce the right numerical solutions with high efficiency.

연구 동기 및 목표

• 제약 조건이 있는 비선형 프로그래밍 문제를 수치적 해법이 가능한 초깃값 문제로 재구성하는 동적 방법을 개발한다.
• 카루시-쿤-터커(KKT) 최적성 조건 하에서 최적 해로의 전역 수렴을 보장한다.
• 수식에 행렬의 의사역행렬을 도입하여 비선형 제약 조건의 선형 독립성을 요구하지 않도록 한다.
• 최적화 과정 全 주기에 걸쳐 라그랑주 승수와 KKT 승수에 대한 해석적 표현을 유도한다.
• 성숙한 상미분 방정식 통합 기법을 활용해 고효율적인 해법을 가능하게 한다.

제안 방법

• 파라미터 벡터의 차원과 동일한 차원을 갖는 동적 최적화 방정식(DOE)을 설정하여 최적 해로의 점진적 수렴을 보장한다.
• 리아푸노프 연속 시간 동역학 안정성 이론을 적용하여 최적 해를 유한 차원 시스템의 안정 평형점으로 모델링한다.
• 비정규 제약 조건 시스템을 처리하기 위해 행렬의 의사역행렬을 사용하여 선형 독립성 가정이 필요 없도록 한다.
• 최적화 궤적 全 주기에 걸쳐 등식 제약 조건에 관련된 라그랑주 승수와 부등식 제약 조건에 대한 KKT 승수에 대한 해석적 표현을 도출한다.
• 기존의 비선형 프로그래밍 문제를 표준 상미분 방정식 통합 방법으로 해결할 수 있는 초깃값 문제(IVP)로 변환한다.
• DOE의 수치적 통합을 통해 이론적 수렴 보장을 받는 최적 해를 계산한다.

실험 결과

연구 질문

• RQ1 등식 및 부등식 제약 조건을 모두 갖는 비선형 프로그래밍 문제를 수치적 해법이 가능한 초깃값 문제로 재구성할 수 있는가?
• RQ2 제약 조건의 선형 독립성을 요구하지 않으면서 최적 해로의 전역 수렴을 어떻게 보장할 수 있는가?
• RQ3 동적 최적화 방정식(DOE)은 최적 해로 향한 점진적 안정성 확보에 어떤 역할을 하는가?
• RQ4 최적화 전 과정에 걸쳐 라그랑주 승수와 KKT 승수를 해석적으로 추적할 수 있는가?
• RQ5 기존의 비선형 프로그래밍 솔버에 비해 제안된 방법이 계산 효율성을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 KKT 최적성 조건 하에서 비선형 프로그래밍 문제의 최적 해로의 전역 수렴을 보장한다.
• 동적 최적화 방정식(DOE)은 리아푸노프 안정성 분석을 통해 최적 해로의 점진적 수렴을 보장한다.
• 행렬의 의사역행렬 사용으로 제약 조건이 선형적으로 독립적이지 않더라도 방법이 유효하게 유지된다.
• 라그랑주 승수와 KKT 승수에 대한 해석적 표현이 유도되고 최적화 과정 全 주기 동안 유지된다.
• 구체적 예시를 통해 표준 ODE 해법기를 사용하여 정확한 수치적 해를 고효율로 도출할 수 있음을 입증한다.
• 초깃값 문제로의 변환은 복잡한 비선형 프로그래밍 문제를 해결하기 위해 잘 정립되고 강력한 ODE 통합 기법을 활용할 수 있도록 한다.