[논문 리뷰] A Direct Shooting Method is Equivalent to an Indirect Method

I. Michael Ross|arXiv (Cornell University)|2020. 03. 05.

Spacecraft Dynamics and Control참고 문헌 30인용 수 4

한 줄 요약

이 논문은 최적 제어에서 직접 셰딩 방법과 간접 방법 간의 수학적 동치성을 1차 필수 조건을 통해 확립하며, 직접 방법이 본질적으로 간접 요소를 내재하고 있음을 보여준다. 주요 기여는 코벡터 매핑 원리로, 이는 표준 비선형 프로그래밍 솔버가 해밀토니안 구조를 유지하지 않으면 궤도 최적화 문제에서 실패한다는 것을 설명하며, 수렴성과 정확도 향상을 위해 해밀토니안 프로그래밍을 제안한다.

ABSTRACT

We show that a direct shooting method is mathematically equivalent to an indirect method in the sense of certain first-order conditions. Specific mathematical formulas pertaining to the equivalence of a direct shooting method with an indirect method are derived. We also show that a theoretical equivalence does not necessarily translate to practical equivalence if the parameterized optimal control problem is simply patched to a nonlinear programming solver. A mathematical explanation is provided for the successes and failures of such patched nonlinear programming methods. In order to generate the correct solution more consistently, the nonlinear programming solver used in a traditional direct method must be replaced or augmented by a Hamiltonian programming method. The theoretical results derived in this paper further strengthen the connections between computational optimal control, deep learning and automatic differentiation.

연구 동기 및 목표

• 직접 및 간접 최적 제어 방법 간 오랫동안 간주되어 온 격리된 시각을 해결하기 위해.
• 일반적인 비선형 프로그래밍 솔버에 연결된 고전적 직접 방법의 계산적 실패 원인을 설명하기 위해.
• 직접 셰딩 방법이 1차 최적성 조건에서 특히 두드러지게 드러나는 간접 요소를 숨기고 있음을 입증하기 위해.
• 신뢰할 수 있는 수렴성과 정확도를 달성하기 위해 표준 NLP 솔버를 해밀토니안 프로그래밍 기법으로 대체할 것을 주장하기 위해.
• 코벡터 매핑 원리를 통해 최적 제어, 딥 러닝, 자동 미분 간 이론적 연결을 강화하기 위해.

제안 방법

• 포트리아진의 최대원리로부터 유도된 1차 필수 조건을 사용하여 직접 셰딩 방법과 간접 방법 간의 수학적 동치성을 유도한다.
• 전진/역행 오일러 이산화를 적용하여 직접 방법에서의 코상태의 기울기가 간접 방법에서의 양변 변수에 해당함을 드러낸다.
• 해밀토니안 구조를 통해 직접 및 간접 방법을 통합하는 통합 프레임워크로 코벡터 매핑 원리를 도입한다.
• 이산화된 기울기에서 단위 간격 h의 영향을 분석하여, h를 생략할 경우 표준 구현에서 잘못된 최적성 조건이 발생함을 보여준다.
• 비용 함수의 기울기 조건 ∂E^N/∂u_k = ∂H/∂u_k (식 70)이 딥 러닝에서의 백프로파게이션과 역방향 자동 미분의 기초가 된다는 것을 밝힌다.
• 일반적인 NLP 솔버를 해밀토니안 프로그래밍 방법으로 대체하여 최적 제어 문제의 기본 구조를 유지하도록 제안한다.

실험 결과

연구 질문

• RQ1 최적 제어에서 직접 셰딩 방법과 간접 방법 간에 근본적인 수학적 동치성이 존재하는가?
• RQ2 이론적으로 동치임에도 불구하고 표준 직접 방법이 일반적인 비선형 프로그래밍 솔버에 연결될 때 실패하는 이유는 무엇인가?
• RQ3 이산화된 최적 제어 문제에서 기울기 계산에 있어 단위 간격 h의 역할은 무엇인가?
• RQ4 코벡터 매핑 원리는 직접 및 간접 방법을 동일한 이론적 프레임워크 아래 통합하는 데 어떻게 기여하는가?
• RQ5 해밀토니안 프로그래밍은 궤도 최적화 및 딥 러닝에서 수렴성과 정확도를 향상시킬 수 있는가?

주요 결과

• 코벡터 매핑 원리의 유도를 통해 직접 셰딩 방법이 1차 필수 조건까지는 간접 방법과 수학적으로 동치임을 입증하였다.
• 고전적 직접 방법이 NLP 솔버에 연결될 때 실패하는 이유는 기울기 계산에서 해밀토니안 구조가 부재하기 때문이며, 특히 코상태 기울기에서 단위 간격 h를 생략함으로써 발생한다.
• 식 (70)인 ∂E^N/∂u_k = ∂H/∂u_k는 일반 기울기 조건의 특수 케이스이며, 딥 러닝에서의 백프로파게이션의 기초가 된다.
• 이론적 동치성은 수치적 구현에서 해밀토니안 구조를 유지해야만 계산적 동치성으로 이어진다.
• 코벡터 매핑 원리를 통해 원형 및 이중 변수를 정확히 매핑함으로써 해밀토니안 프로그래밍 방법이 표준 NLP 솔버보다 수렴성과 정확도에서 뛰어나게 성능을 발휘한다.
• 이 논문에서 다루는 표준 최적 제어 문제의 구조는 딥 러닝에서의 손실 최소화 문제와 정확히 동일하며, 이는 서로 다른 분야 간 공통된 최적화 원리가 존재함을 시사한다.