[논문 리뷰] Safe and Near-Optimal Policy Learning for Model Predictive Control using Primal-Dual Neural Networks

Xiaojing Zhang, Monimoy Bujarbaruah외 1명|arXiv (Cornell University)|2019. 06. 19.

Advanced Control Systems Optimization참고 문헌 33인용 수 6

한 줄 요약

이 논문은 선형 매개변수 변화 시스템에서 안전하고 거의 최적의 모델 예측 제어(MPC) 법칙을 학습하기 위한 원천-이중 신경망 프레임워크를 제안한다. 원천 정책을 통한 제어와 이중 정책를 통한 부분최적성 증명을 함께 훈련시킴으로써, 랜덤화 검증을 통한 실시간 타당성 및 최적성 보장을 달성하면서도 계산 효율적인 제어를 가능하게 하며, 최신 솔버 대비 최대 100배의 속도 향상을 이룩했고 성능 손실는 최소한도로 유지한다.

ABSTRACT

In this paper, we propose a novel framework for approximating the explicit MPC law for linear parameter-varying systems using supervised learning. In contrast to most existing approaches, we not only learn the control policy, but also a "certificate policy", that allows us to estimate the sub-optimality of the learned control policy online, during execution-time. We learn both these policies from data using supervised learning techniques, and also provide a randomized method that allows us to guarantee the quality of each learned policy, measured in terms of feasibility and optimality. This in turn allows us to bound the probability of the learned control policy of being infeasible or suboptimal, where the check is performed by the certificate policy. Since our algorithm does not require the solution of an optimization problem during run-time, it can be deployed even on resource-constrained systems. We illustrate the efficacy of the proposed framework on a vehicle dynamics control problem where we demonstrate a speedup of up to two orders of magnitude compared to online optimization with minimal performance degradation.

연구 동기 및 목표

• 자원 제약이 있는 시스템에 MPC를 구현하는 데 도전하는 문제를 해결하기 위해 온라인 최적화를 빠른 학습된 정책으로 대체한다.
• 비용이 많이 드는 온라인 최적화나 훈련 중 제약 강제 적용에 의존하지 않고도 학습된 제어 정책의 안전성과 성능을 확보한다.
• 실행 시점에서 타당성 또는 부분최적성의 위험 확률을 제한하는 랜덤화 검증 프레임워크를 제공한다.
• 보증 가능한 보조 함수 근사 기법을 사용해 선형 매개변수 변화(LPV) 시스템에 대해 명시적 MPC 근사 확장하기.
• 복잡한 최적화를 실행 시점 실행에서 분리함으로써 임베디드 플랫폼에 MPC를 구현 가능하게 한다.

제안 방법

• 오프라인으로 생성된 데이터를 기반으로 지도 학습을 통해 명시적 MPC 제어 법칙을 근사하는 원천 신경망 정책을 훈련한다.
• 이중 신경망 정책을 훈련시켜 이중성 간격을 추정함으로써 원천 정책의 출력에 대한 부분최적성 및 타당성의 온라인 경계를 제공한다.
• 집중 불등식에서 유도된 표본 크기 경계를 사용한 랜덤화 검증을 통해 이중 정책와 원천 정책의 품질을 이론적으로 확률적으로 검증한다.
• 볼록 최적화 이론에서 유도된 이중성 이론을 활용해 이중 정책를 최적 비용 추정기로 정의함으로써 실시간 성능 모니터링을 가능하게 한다.
• 훈련된 원천-이중 신경망 쌍을 실행 시점에 배포: 원천 정책이 제어 조작을 출력하고, 이중 정책이 그 품질을 검사함; 검사에 실패하면 백업 제어기가 작동한다.
• ReLU 기반의 딥 신경망을 사용한 함수 근사 기법을 적용하여, 어떤 미분 가능한 아키텍처와도 호환되며 복잡한 시스템으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 학습된 MPC 제어 정책이 실행 시 평가가 빠르고 동시에 보증된 안전성과 거의 최적의 성능을 확보할 수 있는가?
• RQ2 이중 신경망을 통해 원천 제어 정책의 부분최적성 및 타당성에 대한 온라인 데이터 기반 증명을 제공할 수 있는가?
• RQ3 유한한 표본 크기로도 랜덤화 검증을 통해 학습된 MPC 정책의 성능을 높은 확률로 보장할 수 있는가?
• RQ4 제안된 원천-이중 학습 프레임워크가 온라인 최적화 대비 수십만 배의 속도 향상을 이룩하면서도 거의 최적의 성능을 유지하는가?
• RQ5 이 프레임워크는 시스템 행렬이 시간에 따라 변화하는 매개변수에 의존하는 선형 매개변수 변화(LPV) 시스템으로 확장 가능한가?

주요 결과

• 제안된 방법은 2016년형 맥북에서 Gurobi 대비 평균 65배 이상, Mosek 대비 100배 이상의 속도 향상을 기록했으며, DNN-ReLU 정책의 평균 추론 시간은 0.023 ms였다.
• 100,000개의 테스트 매개변수에 걸쳐 중앙값으로 측정된 이중성 간격(부분최적성 측정 기준)은 0.00083이었고, 최악의 경우 이중성 간격은 1.2732였으며, 이는 강력한 거의 최적의 성능를 시사한다.
• 이중성 간격이 임계값 γ=1을 초과할 확률의 경험적 위반 확률은 0.005%였으며, 목표로 한 ε=1%보다 훨씬 낮아 이론적 표본 크기 경계의 보수성(conservativeness)을 확인한다.
• 이중 정책는 실시간으로 부분최적 또는 타당하지 않은 조작을 성공적으로 탐지했으며, 필요에 따라 백업 제어기로의 전환을 가능하게 했다.
• 신경망 추론 시간의 표준편차가 단지 0.0023 ms로 매우 낮아 Gurobi 및 Mosek의 더 변동성이 큰 성능에 비해 뛰어난 일관성과 강건성을 보였다.
• 이 방법은 일반적이며 어떤 함수 근사기(딥 신경망 포함)에도 적용 가능하며, 온라인 최적화 없이도 임베디드 시스템에 MPC를 안전하게 구현할 수 있게 한다.