[논문 리뷰] Practical Comparison of Optimization Algorithms for Learning-Based MPC with Linear Models

Anil Aswani, Patrick Bouffard외 2명|arXiv (Cornell University)|2014. 04. 10.

Advanced Control Systems Optimization참고 문헌 3인용 수 8

한 줄 요약

이 논문은 선형 모델을 갖는 학습 기반 모델 예측 제어(LBMPC)를 위한 최적화 알고리즘을 비교하며, 사각형 회전익 헬리콥터에서 희소 내부점법(LBmpcIPM)과 조밀한 활성집합 솔버(LSSOL 및 qpOASES)를 평가한다. LBmpcIPM은 점점 더 빠른 점근적 복잡도를 보이지만, 실시간 비행 실험에서는 해법 시간의 변동성이 낮아 더 우수한 성능을 보인 조밀한 솔버들이 앞서기 때문에, 임베디드 MPC 응용 분야에서 알고리즘 선택을 위한 실질적 시스템 기준 평가가 필수적임을 시사한다.

ABSTRACT

Learning-based control methods are an attractive approach for addressing performance and efficiency challenges in robotics and automation systems. One such technique that has found application in these domains is learning-based model predictive control (LBMPC). An important novelty of LBMPC lies in the fact that its robustness and stability properties are independent of the type of online learning used. This allows the use of advanced statistical or machine learning methods to provide the adaptation for the controller. This paper is concerned with providing practical comparisons of different optimization algorithms for implementing the LBMPC method, for the special case where the dynamic model of the system is linear and the online learning provides linear updates to the dynamic model. For comparison purposes, we have implemented a primal-dual infeasible start interior point method that exploits the sparsity structure of LBMPC. Our open source implementation (called LBmpcIPM) is available through a BSD license and is provided freely to enable the rapid implementation of LBMPC on other platforms. This solver is compared to the dense active set solvers LSSOL and qpOASES using a quadrotor helicopter platform. Two scenarios are considered: The first is a simulation comparing hovering control for the quadrotor, and the second is on-board control experiments of dynamic quadrotor flight. Though the LBmpcIPM method has better asymptotic computational complexity than LSSOL and qpOASES, we find that for certain integrated systems (like our quadrotor testbed) these methods can outperform LBmpcIPM. This suggests that actual benchmarks should be used when choosing which algorithm is used to implement LBMPC on practical systems.

연구 동기 및 목표

• 학습 기반 모델 예측 제어(LBMPC)에 대한 다양한 최적화 알고리즘의 실용적 성능을 평가하기 위해, 선형 동역학과 선형 학습 업데이트를 갖는 LBMPC에 대해 연구한다.
• 희소 솔버의 이론적으로 뛰어난 계산 복잡도가 임베디드 제어 시스템에서 실질적인 이점으로 이어지는지 평가한다.
• 최근에 구현된 희소 내부점법(LBmpcIPM)과 기존의 조밀한 활성집합 솔버(LSSOL 및 qpOASES)를 실제 사각형 회전익 테스트베드에서 비교한다.
• 최적화 알고리즘의 선택이 동적인 제약 조건이 있는 비행 시나리오에서 제어 성능과 실시간 실행 가능성에 미치는 영향을 판단한다.

제안 방법

• 선형 모델을 갖는 LBMPC 문제에 내재된 희소성 구조를 활용하는 원-대안-불가능 시작 내부점법(LBmpcIPM)을 구현하였다.
• 시스템 동역학 모델의 온라인 학습 업데이트를 처리하면서도 안정성과 안정성 보장을 유지할 수 있도록 LBmpcIPM 솔버를 설계하였다.
• 동일한 LBMPC 공식화와 시스템 제약 조건을 사용하여 LBmpcIPM을 두 개의 조밀한 활성집합 솔버(LSSOL 및 qpOASES)와 비교하였다.
• 25ms 제어 샘플링 주기와 예측 수평 N=5를 갖는 사각형 회전익 헬리콥터에서 시뮬레이션 및 실시간 차량 내 실험을 수행하였다.
• 모든 세 솔버에 대해 해법 시간, 궤도 추적 성능, 계산 시간의 변동성을 측정하고 분석하였다.
• 일관성을 확보하기 위해 LSSOL 솔버의 궤도를 기준으로 하여 솔버 간의 차이를 정량화하였으며, 이는 이전 실험 작업과 일치시켰다.

실험 결과

연구 질문

• RQ1 희소 내부점법(LBmpcIPM)은 임베디드 플랫폼에서 실시간 LBMPC 응용에서 조밀한 활성집합 솔버(LSSOL 및 qpOASES)보다 더 빠른 해법 시간을 달성하는가?
• RQ2 다른 최적화 알고리즘의 해법 시간 변동성이 25ms 샘플링 주기에서 실시간 제어 실행 가능성에 어떤 영향을 미치는가?
• RQ3 솔버 성능의 차이가 실제로 사각형 회전익 비행 궤도에 얼마나 영향을 미치며, 이는 항공역학적 노이즈의 허용 범위 내에 있는가?
• RQ4 2009년대 기술 수준의 차량 내 컴퓨터를 사용할 때, LBmpcIPM의 이론적으로 뛰어난 점근적 계산 복잡도가 실질적인 성능 향상으로 이어지는가?
• RQ5 LBMPC에서 학습된 모델과 명시적 모델 간의 구조적 유사성을 활용하여 솔버 효율을 추가로 향상시킬 수 있는가?

주요 결과

• LBmpcIPM 솔버는 기대한 바와 같이 희소 내부점법 공식화로 인해 조밀한 솔버보다 더 낮은 점근적 계산 복잡도를 보였다.
• 이론적으로 뛰어난 복잡도에도 불구하고 LBmpcIPM은 해법 시간의 변동성이 더 높고, 가끔 25ms 실시간 제어 마감 시간을 초과하는 경향이 있었으며, 조밀한 솔버는 그렇지 않았다.
• 조밀한 활성집합 솔버(LSSOL 및 qpOASES)는 해법 시간의 변동성이 낮아 사각형 회전익 테스트베드에서 더 신뢰할 수 있는 실시간 성능을 달성하였다.
• 솔버 간 궤도 차이는 LBmpcIPM 대 LSSOL 기준 6.5cm 이내, qpOASES 대 LSSOL 기준 9.8cm 이내였으며, 이는 항공역학적 노이즈와 실험 변동성의 기대 범위 내에 있었다.
• 실제로는 솔버 간 성능 격차가 거의 없었으며, 이는 모든 세 솔버가 실제 비행 조건에서 유사한 제어 정밀도를 제공했음을 시사한다.
• 향후 하드웨어 업그레이드로 약 10배 향상된 성능을 확보할 경우, LBmpcIPM의 잠재력을 완전히 해방시킬 수 있으며, 이는 더 긴 예측 수평(N≈30)을 가능하게 하여 희소성 구조를 더욱 효과적으로 활용할 수 있게 한다.