[논문 리뷰] Hamiltonian-Based Algorithm for Optimal Control

Matthew Hale, Y. Wardi외 2명|arXiv (Cornell University)|2016. 03. 09.

Advanced Control Systems Optimization참고 문헌 29인용 수 10

한 줄 요약

이 논문은 이완 제어 공간에서 작동하는 해밀토니안 기반 최적 제어 알고리즘을 제안하며, 해밀토니안의 국소 최소화를 통해 명시적 기울기 계산 없이 내림쪽 방향을 계산한다. 이 방법은 하이브리드 시스템과 이동 로봇 네트워크에서 시뮬레이션을 통해 빠른 수렴을 보이며, 거친 적분 단계를 사용하여 1초 이내에 거의 전역 최소값에 도달한다.

ABSTRACT

This paper proposes an algorithmic technique for a class of optimal control problems where it is easy to compute a pointwise minimizer of the Hamiltonian associated with every applied control. The algorithm operates in the space of relaxed controls and projects the final result into the space of ordinary controls. It is based on the descent direction from a given relaxed control towards a pointwise minimizer of the Hamiltonian. This direction comprises a form of gradient projection and for some systems, is argued to have computational advantages over direct gradient directions. The algorithm is shown to be applicable to a class of hybrid optimal control problems. The theoretical results, concerning convergence of the algorithm, are corroborated by simulation examples on switched-mode hybrid systems as well as on a problem of balancing transmission- and motion energy in a mobile robotic system.

연구 동기 및 목표

• 국소 해밀토니안 최소화가 계산적으로 실현 가능한 최적 제어 문제의 일군의 알고리즘을 개발하기 위해.
• 유한 차원이 아닌 최적 제어 문제에서 수렴 문제를 해결하기 위해 이완 제어와 폴락의 최적성 함수 프레임워크를 활용하기 위해.
• 스위치 모드 하이브리드 시스템과 이동 로봇 네트워크에서의 에너지 균형 문제에 알고리즘을 적용하기 위해.
• 기존 기울기 방법과의 비교를 통해 실제 제어 문제에 대한 시뮬레이션을 통해 계산적 이점을 입증하기 위해.

제안 방법

• 알고리즘은 제어 집합 U 위의 확률 측도인 이완 제어 공간에서 작동하며, 이는 컴acts성과 해의 존재를 보장한다.
• 각 반복 단계에서 해밀토니안의 국소 최소화를 통해 내림쪽 방향을 계산하며, 이는 양단 경계값 문제의 해를 구하는 것을 피한다.
• 상태 방정식의 순차적 전진 적분과 쌍대(비용 상태) 방정식의 역방향 적분을 사용하여 해밀토니안 최소화자를 계산한다.
• 내림쪽 방향은 기울기 프로젝션의 형태이며, 일부 시스템에서는 직접 기울기 계산보다 계산상의 이점이 있음을 주장한다.
• 실제 구현을 위해 최종 이완 제어 해를 일반 제어 공간으로 다시 투영한다.
• 폴락의 프레임워크를 사용하여 적응적으로 이산화 수준을 선택하여 수렴을 보장하고 무한 차원 최적화 문제에 대응한다.

실험 결과

연구 질문

• RQ1 이완 제어를 사용하는 해밀토니안 기반 알고리즘이 기존 기울기 방법보다 최적 제어 문제에서 더 빠른 수렴을 달성할 수 있는가?
• RQ2 계산 효율성과 수렴 속도 측면에서 국소 해밀토니안 최소화는 명시적 기울기 계산과 어떻게 비교되는가?
• RQ3 이 알고리즘은 스위칭 동역학과 입력 제약 조건이 있는 하이브리드 시스템을 어느 정도 효과적으로 처리할 수 있는가?
• RQ4 모의 실험을 통해 이동 로봇 네트워크에서 전송 에너지와 운동 에너지를 효과적으로 균형 잡을 수 있는가?

주요 결과

• Δt = 0.01일 때 200회 반복 동안 비용이 81,883.4에서 1,253.4로 감소하여 5회 반복에 98.5% 감소, 10회 반복에 99% 감소를 기록했다.
• Δt = 0.1일 때 100회 반복은 오직 0.5645초의 CPU 시간에 비용 1,260.4를 기록했으며, 명백한 전역 최소값 1,253.4에 매우 가까웠다.
• 알고리즘은 단 5회 반복 만에 총 비용 감소의 98%를 달성하여 초기 수렴 속도가 매우 빠름을 보였다.
• Δt = 0.01일 때 20회 반복은 0.8653초에 비용 1,455.5를 기록했으며, 속도와 정확도 사이의 강력한 트레이드오프를 보였다.
• 이 방법은 다양한 적분 단계 크기에서 뛰어난 강건성과 효율성을 보였으며, 더 넓은 단계에서도 정확도 손실가 최소였다.
• 이동 로봇 네트워크에 대한 시뮬레이션 결과는 알고리즘이 실제 세계의 에너지 균형 문제에 실용적으로 적용 가능하다는 것을 확인했다.