[논문 리뷰] Constraint-Informed Learning for Warm Starting Trajectory Optimization

Julia Briden, Changrak Choi외 3명|arXiv (Cornell University)|2023. 01. 01.

Reservoir Engineering and Simulation Methods인용 수 2

한 줄 요약

이 논문은 궤도 최적화를 위한 웜스타트를 학습하기 위해 이중 함수 기반 손실 함수를 사용하는 제약 조건 인지 학습 프레임워크인 TOAST를 제안한다. 라그랑주 기반 손실 함수를 사용하여 원천 및 이중 해를 예측하는 신경망을 훈련시킴으로써 TOAST는 수렴 속도를 가속화하고 제약 조건 이행을 향상시켜 기준 방법 대비 계산 시간을 30% 이상 감소시키며 제약 위반을 최대 70% 감소시킨다.

ABSTRACT

Future spacecraft and surface robotic missions require increasingly capable autonomy stacks for exploring challenging and unstructured domains, and trajectory optimization will be a cornerstone of such autonomy stacks. However, the nonlinear optimization solvers required remain too slow for use on relatively resource-constrained flight-grade computers. In this work, we turn towards amortized optimization, a learning-based technique for accelerating optimization run times, and present TOAST: Trajectory Optimization with Merit Function Warm Starts. Offline, using data collected from a simulation, we train a neural network to learn a mapping to the full primal and dual solutions given the problem parameters. Crucially, we build upon recent results from decision-focused learning and present a set of decision-focused loss functions using the notion of merit functions for optimization problems. We show that training networks with such constraint-informed losses can better encode the structure of the trajectory optimization problem and jointly learn to reconstruct the primal-dual solution while yielding improved constraint satisfaction. Through numerical experiments on a Lunar rover problem and a 3-degrees-of-freedom Mars powered descent guidance problem, we demonstrate that TOAST outperforms benchmark approaches in terms of both computation times and network prediction constraint satisfaction.

연구 동기 및 목표

• 자원 제약이 있는 항공 등급 컴퓨터에서 비선형 궤도 최적화의 계산 병목 현상을 해결하기 위해.
• 손실 함수에 문제의 구조를 통합하여 학습된 웜스타트의 제약 조건 이행을 향상시키기 위해.
• 물리적 및 안전 제약 조건을 유지하면서 원천 및 이중 해를 동시에 학습하는 방법을 개발하기 위해.
• 결정 중심 손실 함수를 사용한 분산 학습을 통해 온라인 최적화를 가속화하기 위해.
• 달 탐사차 및 화성 저공 착륙 문제에서 기준 학습 및 전통적 웜스타트 방법에 비해 뛰어난 성능을 입증하기 위해.

제안 방법

• 궤도 최적화 문제의 문제 파라미터에서 전체 원천 및 이중 해로의 매핑을 위한 신경망의 오프라인 훈련.
• 라그랑주 구조를 인코딩하기 위해 라그랑주 함수와 그 기울기를 조합한 미리미터 함수를 사용한 결정 중심 손실 함수 설계.
• 제약 조건 인식 보조를 위한 라그랑주 MSE, 라그랑주 기울기 포함, 및 표준 라그랑주 손실 함수를 사용하여 네트워크 훈련.
• 훈련된 네트워크를 사용해 순차적 순차 제곱 프로그래밍(SQP) 솔버에 웜스타트를 제공하여 필요로 하는 반복 수를 감소.
• 원천 및 이중 변수 예측을 통합하여 KKT 조건과의 일致성을 확보하고 수렴을 향상.
• 두 가지 실제 문제에 대한 평가: 6-DOF 달 탐사차 MPC 및 3-DOF 화성 저공 착륙 유도 문제.

실험 결과

연구 질문

• RQ1 미리미터 함수 기반 손실 함수를 사용한 결정 중심 학습이 궤도 최적화를 위한 학습된 웜스타트의 제약 조건 이행을 향상시키는가?
• RQ2 라그랑주 함수와 그 기울기를 손실 함수에 통합하면 표준 MSE 손실 함수에 비해 더 빠른 수렴과 더 나은 해 품질을 제공하는가?
• RQ3 제약 조건 인지 학습이 우주 임무의 궤도 최적화에서 온라인 계산 시간을 얼마나 줄일 수 있는가?
• RQ4 TOAST의 성능은 제약 위반 및 해 정확도 측면에서 기준 학습 방법과 전통적 웜스타트 전략에 비해 어떻게 비교되는가?
• RQ5 제안된 방법은 파라미터의 분포 이동이 있는 다양한 문제 인스턴스에 일반화될 수 있는가?

주요 결과

• 라그랑주 MSE 손실을 사용한 TOAST는 Primal MSE 대비 제약 위반 비율을 8% 감소시키고 평균 제약 위반 정도를 약 70% 감소시켰다.
• 라그랑주 MSE 손실은 Primal MSE 대비 상태 궤도 MSE를 25% 감소시키고 제어 입력 MSE를 50% 감소시켰다.
• Transformer 아키텍처에서는 TOAST가 라그랑주 MSE 손실을 사용해 Primal MSE 대비 평균 20ms의 속도 향상을 보였고 직선 웜스타트 대비 SQP 런타임을 30% 이상 감소시켰다.
• 피드포워드 신경망 설정에서는 라그랑주 MSE 손실이 평균 계산 시간을 2초 이상 감소시켜 6.22초에서 4초로 줄여 32%의 속도 향상을 달성했다.
• LSTM 아키텍처에서는 결정 중심 손실을 사용할 경우 표준 MSE 대비 평균 런타임을 최대 63% 감소시켰다.
• 피드포워드 네트워크에서 TOAST는 약간의 상태 오차 증가가 있음에도 불구하고 순수한 MSE 손실 대비 제약 위반을 5.67%에서 8.21%까지 감소시켰다.