[논문 리뷰] On Training and Evaluation of Neural Network Approaches for Model Predictive Control

Rebecka Winqvist, Arun Venkitaraman외 1명|arXiv (Cornell University)|2020. 05. 08.

Advanced Control Systems Optimization참고 문헌 24인용 수 5

한 줄 요약

이 논문은 제약 조건이 있는 딥 네트워크와 미분 가능 최적화 레이어를 사용하여 신경망 기반 모델 예측 제어(MPC)를 훈련하고 평가하기 위한 체계적인 프레임워크를 제안한다. 다양한 가능한 제약 조건을 포함하는 미분 가능 투영 레이어를 통해 명시적 MPC 제약 조건을 통합하고, 고차원 입력 샘플링을 위한 히트-앤드-런 샘플러를 활용함으로써 안정적이고 타당한 제어 법칙을 도출하였으며, 블랙박스 네트워크 대비 일반화 성능이 향상됨을 2차원 및 4차원 시스템에서 NMSE 및 제어 비용 지표를 통해 검증하였다.

ABSTRACT

The contribution of this paper is a framework for training and evaluation of Model Predictive Control (MPC) implemented using constrained neural networks. Recent studies have proposed to use neural networks with differentiable convex optimization layers to implement model predictive controllers. The motivation is to replace real-time optimization in safety critical feedback control systems with learnt mappings in the form of neural networks with optimization layers. Such mappings take as the input the state vector and predict the control law as the output. The learning takes place using training data generated from off-line MPC simulations. However, a general framework for characterization of learning approaches in terms of both model validation and efficient training data generation is lacking in literature. In this paper, we take the first steps towards developing such a coherent framework. We discuss how the learning problem has similarities with system identification, in particular input design, model structure selection and model validation. We consider the study of neural network architectures in PyTorch with the explicit MPC constraints implemented as a differentiable optimization layer using CVXPY. We propose an efficient approach of generating MPC input samples subject to the MPC model constraints using a hit-and-run sampler. The corresponding true outputs are generated by solving the MPC offline using OSOP. We propose different metrics to validate the resulting approaches. Our study further aims to explore the advantages of incorporating domain knowledge into the network structure from a training and evaluation perspective. Different model structures are numerically tested using the proposed framework in order to obtain more insights in the properties of constrained neural networks based MPC.

연구 동기 및 목표

• 신경망 기반 MPC 접근법의 표준화되고 체계적인 훈련 및 평가 프레임워크 개발.
• 학습 기반 MPC에서 데이터 생성, 모델 검증, 성능 평가에 대한 일관성 없는 방법의 부족 문제 해결.
• 특히 MPC 제약 조건을 신경망 아키텍처에 통합함으로써 학습 및 제어 성능 향상 여부 탐색.
• 제약 조건을 내장한 아키텍처를 가진 스타일 인식 신경망과 블랙박스 아키텍처 간의 정확도, 안정성, 일반화 성능 비교.
• 통계적 샘플링 기법을 활용하여 고차원 상태 공간에서 효율적이고 확장 가능한 훈련 데이터 생성 가능화.

제안 방법

• CVXPY를 사용하여 PyTorch 기반 신경망 프레임워크 내에서 MPC 제약 조건을 미분 가능 투영 레이어로 구현.
• 고차원 상태 공간에서 균일한 커버리지 확보를 위해 불변 집합 𝒞∞에서 효율적으로 훈련 데이터를 생성하기 위해 히트-앤드-런 샘플러 활용.
• 오프라인으로 OSQP를 사용하여 MPC 문제를 풀어 진정한 최적 제어 입력을 확보함으로써 훈련을 위한 기준 레이블 확보.
• ReLU 기반 신경망을 훈련시켜 상태(및 선택적 모델 파라미터)를 제어 입력으로 매핑하고, 투영 레이어를 통해 재귀적 타당성 보장.
• 테스트 데이터에서 정규화 평균 제곱 오차(NMSE)와 닫힌 루프 궤적에서의 정규화 제어 비용을 사용하여 성능 평가.
• 기울기 기반 입력 설계 및 분석을 적용하여 데이터 효율성 및 모델 강건성 향상.

실험 결과

연구 질문

• RQ1 데이터 생성, 모델 구조, 검증을 고려할 때, 신경망 기반 MPC를 위한 일관된 프레임워크 수립 방법은 무엇인가?
• RQ2 미분 가능 투영 레이어를 통한 명시적 MPC 제약 조건 통합이 학습된 제어 정책의 일반화 및 안정성에 미치는 영향은 무엇인가?
• RQ3 제약 조건 인식 아키텍처를 가진 스타일 인식 신경망과 블랙박스 네트워크 간의 NMSE 및 제어 비용 측면에서의 성능 비교는 어떻게 되는가?
• RQ4 고차원 상태 공간에서 MPC를 위한 훈련 데이터 생성에 가장 효율적이고 통계적으로 타당한 방법은 무엇인가?
• RQ5 MPC 매핑의 기울기 정보를 활용하여 입력 샘플링 및 모델 훈련 효율성을 향상시킬 수 있는가?

주요 결과

• 히트-앤드-런 샘플러는 고차원 시스템에서도 불변 집합 𝒞∞의 효율적이고 균일한 샘플링을 가능하게 하여, 스케일러비리티 측면에서 격자 기반 방법을 능가한다.
• 미분 가능 투영 레이어를 내장한 신경망은 특히 제한된 훈련 데이터에서 블랙박스 네트워크 대비 상당히 낮은 NMSE(예: 10–20% 감소)를 달성한다.
• 제약 조건 인식 아키텍처를 사용해 학습된 제어 법칙은 500~1000개의 궤적에서 더 낮은 정규화 제어 비용(Jₙ)을 보이며, 더 나은 닫힌 루프 성능을 나타낸다.
• 네트워크 구조에 MPC 제약 조건을 통합함으로써 재귀적 타당성과 점근적 안정성이 보장되며, 이는 블랙박스 모델에서는 보장되지 않는다.
• 훈련 데이터 생성은 네트워크 훈련보다 더 계산 비용이 많이 들며, 이는 히트-앤드-런과 같은 효율적 샘플링 전략의 필요성을 강조한다.
• 4차원 예제에서 훈련 데이터 크기와 근사 정확도 사이에 명확한 트레이드오프가 존재하며, 약 7000개 샘플을 초과하면 성능가 포화 상태에 도달한다.