[논문 리뷰] Large Scale Model Predictive Control with Neural Networks and Primal Active Sets

Steven W. Chen, Tianyu Wang외 3명|arXiv (Cornell University)|2019. 10. 23.

Advanced Control Systems Optimization인용 수 9

한 줄 요약

이 논문은 완전히 연결된 ReLU 신경망을 사용하여 온라인 원천 활성 집합 솔버의 온난 시작을 제공함으로써 재귀적 타당성과 점점 수렴하는 안정성을 보장하는 하이브리드 명시적-암시적 모델 예측 제어(MPC) 프레임워크를 제안한다. 이 방법은 수천 개의 변수를 가진 대규모 문제에서 최고의 벤치마크 방법 대비 온라인 추론 시간에서 2배의 속도 향상을 달성한다.

ABSTRACT

This work presents an explicit-implicit procedure to compute a model predictive control (MPC) law with guarantees on recursive feasibility and asymptotic stability. The approach combines an offline-trained fully-connected neural network with an online primal active set solver. The neural network provides a control input initialization while the primal active set method ensures recursive feasibility and asymptotic stability. The neural network is trained with a primal-dual loss function, aiming to generate control sequences that are primal feasible and meet a desired level of suboptimality. Since the neural network alone does not guarantee constraint satisfaction, its output is used to warm start the primal active set method online. We demonstrate that this approach scales to large problems with thousands of optimization variables, which are challenging for current approaches. Our method achieves a 2x reduction in online inference time compared to the best method in a benchmark suite of different solver and initialization strategies.

연구 동기 및 목표

• 수천 개의 최적화 변수를 가진 고차원 시스템에서 명시적 MPC의 확장성 문제를 해결한다.
• 제약 조건을 만족하고 안정성을 보장하기 위해 온라인 QP 솔버를 통해 순수 신경망 근사의 한계를 극복한다.
• 제약 조건으로 정의된 고차원 볼록 집합에서 신경망을 훈련하기 위한 효율적인 데이터 생성 방법을 개발한다.
• 온난 시작과 조기 종료를 통해 타당성과 안정성에 대한 이론적 보장을 갖춘 빠른 온라인 추론을 가능하게 한다.
• 신경망 기반 MPC가 성능과 안전 보장을 유지하면서도 대규모 문제로 확장될 수 있음을 입증한다.

제안 방법

• 라그랑주 기반의 원천-이중 손실 함수를 사용하여 완전히 연결된 ReLU 신경망을 훈련하여 최적의 MPC 제어 법칙을 근사한다.
• 신경망의 출력을 온라인 원천 활성 집합 방법의 온난 시작으로 사용하여 수렴 속도를 가속화한다.
• 제약 조건의 복잡성으로 인해 표준 샘플링 방법이 실패할 경우에도 효율적으로 고차원의 타당 상태와 최적 해를 포함한 대규모 훈련 데이터셋을 생성하기 위해 기하학적 랜덤 워크 알고리즘을 적용한다.
• 이중성 갭 임계값을 사용하여 원천 활성 집합 솔버에 조기 종료를 통합함으로써 온라인 계산 시간을 줄이고, 동시에 부분최적화 경계를 유지한다.
• 신경망 예측에서 원천 타당성과 부분최적화 증명을 유도하여 재귀적 타당성과 점점 수렴하는 안정성을 보장한다.
• 정확성과 속도의 균형을 맞추기 위해 SQOPT 솔버를 사용하고 주기적인 부분최적화 검사 및 적응적 정확도 감소를 적용한다.

실험 결과

연구 질문

• RQ1 학습된 신경망 제어 정책을 온라인 QP 솔버와 융합하여 대규모 시스템의 MPC에서 재귀적 타당성과 점점 수렴하는 안정성을 확보할 수 있는가?
• RQ2 표준 샘플링 방법이 제약 조건의 복잡성으로 인해 실패할 경우, MPC 근사에 대한 고차원 훈련 데이터를 어떻게 효율적으로 생성할 수 있는가?
• RQ3 기존 초기화 방법 대비 신경망 온난 시작이 대규모 MPC에서 온라인 추론 속도에 얼마나 기여하는가?
• RQ4 신경망 온난 시작과 함께 활성 집합 솔버의 조기 종료가 상당한 속도 향상을 가져오는가? 그리고 부분최적화에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 수천 개의 최적화 변수를 가진 문제에 대해 이론적 보장과 실용적 성능을 유지하면서도 확장 가능한가?

주요 결과

• 제안된 방법은 표준 MPC 벤치마크 세트에서 최고의 벤치마크 방법 대비 온라인 추론 시간을 2배로 단축시켰다.
• 신경망 온난 시작과 조기 종료를 조합한 결과, 최적 해 계산 대비 12.9배의 속도 향상을 달성했으며, 이는 기존의 온난 시작 방법 대비 2.2배 뿐이었다.
• 신경망 출력에서 유도된 원천 타당성과 부분최적화 증명을 통해 재귀적 타당성과 점점 수렴하는 안정성을 유지한다.
• 부분최적화 갭이 8.8%일지라도, 신경망 기반 방법은 온난 시작 기반 벤치마크 대비 2배의 속도 향상을 달성하여 높은 부분최적화가 빠른 추론에 대해 허용 가능하다는 것을 입증한다.
• 기하학적 랜덤 워크 알고리즘은 기존의 격자화와 기각 샘플링의 한계를 극복하여 대규모 고차원 훈련 데이터셋을 효율적으로 생성할 수 있다.
• 이중성 갭 임계값 η < 0.1에서 종료된 경우, 신경망 기반 방법은 온난 시작 방법 대비 단지 1.1배 뿐이 느리며, 고정밀도 해를 위한 성능 손실가 최소한임을 나타낸다.