[논문 리뷰] Model predictive control with random batch methods for a guiding problem

Dongnam Ko, Enrique Zuazua|arXiv (Cornell University)|2020. 04. 30.

Distributed Control Multi-Agent Systems참고 문헌 36인용 수 7

한 줄 요약

이 논문은 대규모 이탈자 군집과 소수의 반발성 운전자를 포함하는 대규모 유도 문제를 효율적으로 제어하기 위해 모델 예측 제어(MPC) 프레임워크와 무작위 배치 방법(RBM)을 결합한 것을 제안한다. 입자 간 상호작용을 무작위로 선택된 저비용 배치로 근사하고, 짧은 수평선 동안 제어를 반복적으로 업데이트함으로써 계산 비용을 O(N²)에서 O(NP)로 감소시키면서도 효과적인 제어 성능을 유지한다. 수치 실험을 통해 빠른 속도 향상과 제어 비용 감소를 입증하였다.

ABSTRACT

We model, simulate and control the guiding problem for a herd of evaders under the action of repulsive drivers. The problem is formulated in an optimal control framework, where the drivers (controls) aim to guide the evaders (states) to a desired region of the Euclidean space. The numerical simulation of such models quickly becomes unfeasible for a large number of interacting agents. To reduce the computational cost, we use the Random Batch Method (RBM), which provides a computationally feasible approximation of the dynamics. At each time step, the RBM randomly divides the set of particles into small subsets (batches), considering only the interactions inside each batch. Due to the averaging effect, the RBM approximation converges to the exact dynamics as the time discretization gets finer. We propose an algorithm that leads to the optimal control of a fixed RBM approximated trajectory using a classical gradient descent. The resulting control is not optimal for the original complete system, but rather for the reduced RBM model. We then adopt a Model Predictive Control (MPC) strategy to handle the error in the dynamics. While the system evolves in time, the MPC strategy consists in periodically updating the state and computing the optimal control over a long-time horizon, which is implemented recursively in a shorter time-horizon. This leads to a semi-feedback control strategy. Through numerical experiments we show that the combination of RBM and MPC leads to a significant reduction of the computational cost, preserving the capacity of controlling the overall dynamics.

연구 동기 및 목표

• 대규모 상호작용 입자 시스템을 모델링한 유도 문제에서 최적 제어의 높은 계산 비용을 해결하기 위해.
• 완전한 상호작용 역학이 비용이 너무 많이 들기 때문에, 많은 이탈자와 소수의 운전자를 포함한 시스템에 대해 계산적으로 실현 가능한 제어 전략을 개발하기 위해.
• 동적 근사를 위한 무작위 배치 방법(RBM)과 모델 예측 제어(MPC)를 결합하여 RBM에 의해 유도되는 근사 오차를 보정하고 강건성을 확보하기 위해.
• 저차원 모델을 사용하여 대규모 집단 역학에서 실시간으로 반피드백 제어를 가능하게 하기 위해.

제안 방법

• 무작위 배치 방법(RBM)은 입자를 크기 P의 작은 배치로 임의로 분할하여 전체 N체 상호작용을 근사함으로써, 상호작용 비용을 O(N²)에서 O(NP)로 감소시킨다.
• 각 시간 단계에서 단지 내부 배치 상호작용만 계산하고, 이 감소된 상호작용 모델을 사용하여 역학을 진화시킨다.
• 유한 시간 수평선 동안 RBM로 근사된 궤적에 대해 최적 제어를 계산하기 위해 경사 하강법 알고리즘을 적용한다.
• 모델 예측 제어(MPC)는 현재 상태 정보를 반복적으로 업데이트하여 짧은 수평선 동안 제어를 재최적화함으로써 반피드백 전략을 구현한다.
• MPC 전략은 정기적인 간격으로 현재 시스템 상태를 사용하여 제어 계산을 재초기화함으로써 RBM 근사에 의해 발생하는 오차를 보정한다.
• 운전자가 이탈자를 목표 영역으로 이끄는 유도 문제에 적용되었으며, 강건성 테스트를 위해 스토케스틱 노이즈를 추가하였다.

실험 결과

연구 질문

• RQ1 무작위 배치 방법(RBM)이 대규모 상호작용 입자 시스템의 시뮬레이션 및 제어 비용을 지속적으로 감소시킬 수 있는가?
• RQ2 RBM에 의해 발생하는 근사 오차를 감안할 때, RBM와 모델 예측 제어(MPC)의 조합이 제어 성능을 유지하는 데 얼마나 효과적인가?
• RQ3 RBM 근사에서 배치 크기 P를 변화시킬 경우 계산 비용과 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ4 노이즈 있는 역학 조건 하에서 MPC-RBM 프레임워크는 개방 루프 제어 전략과 비교해 어떻게 성능을 발휘하는가?
• RQ5 MPC-RBM 접근법은 3차원 환경이나 제어 제약 조건이 존재하는 시스템으로 확장될 수 있는가?

주요 결과

• MPC-RBM 알고리즘은 계산 비용을 O(N²)에서 O(NP)로 감소시켜, 많은 수의 이탈자를 포함한 시스템의 제어 가능성을 보장한다.
• 16명의 이탈자와 4명의 운전자를 포함한 시스템에서, MPC-RBM 접근법은 전체 시뮬레이션에서 거의 2시간이 걸리던 계산 시간을 P=2일 때 125초 이내로 단축시켰다.
• 노이즈가 있는 시스템에서 비용 함수는 개방 루프 제어의 0.7561에서 0.7040으로 감소하여 제어 성능 향상을 입증하였다.
• 배치 크기 P를 2에서 4로 증가시켰을 때 계산 시간은 약 73% 증가했지만, 위치 진동 오차는 약 62% 감소시켜 유리한 상호 교환 관계를 보였다.
• MPC 전략은 특히 노이즈 환경에서 RBM 근사 오차를 효과적으로 보정하였으며, 이는 개방 루프 제어가 목표 지점으로 이탈자를 이끌지 못한 반면, 피드백이 있는 경우 성공적으로 유도된 결과를 보였다.
• 수치 결과는 MPC-RBM 프레임워크가 다중성 노이즈 하에서도 제어 효과성을 유지함을 보여주었으며, 피드백이 사용된 경우 운전자가 이탈자를 효과적으로 둘러싸는 데 성공하였다.