[논문 리뷰] A fast iterative PDE-based algorithm for feedback controls of nonsmooth mean-field control problems

Christoph Reisinger, Wolfgang Stockinger외 1명|arXiv (Cornell University)|2021. 08. 15.

Model Reduction and Neural Networks참고 문헌 46인용 수 5

한 줄 요약

이 논문은 상태-행동 평균장 상호작용을 수반하는 비스무스 스무스 평균장 제어 문제에서 피드백 제어를 계산하기 위한 빠른 반복 PDE 기반 알고리즘인 FIPDE를 제안한다. 전진-후진 분할, 프록시 그래디언트 스텝, 그리고 동적으로 업데이트되는 모멘타를 조합함으로써, 유한 차분 또는 신경망을 통해 고차원 McKean-Vlasov SDE를 효율적으로 해결하며, 희소 안정화 Cucker-Smale 모델에서 핵심 제어 구조를 포착하고 강건한 성능을 달성한다.

ABSTRACT

We propose a PDE-based accelerated gradient algorithm for optimal feedback controls of McKean-Vlasov dynamics that involve mean-field interactions both in the state and action. The method exploits a forward-backward splitting approach and iteratively refines the approximate controls based on the gradients of smooth costs, the proximal maps of nonsmooth costs, and dynamically updated momentum parameters. At each step, the state dynamics is approximated via a particle system, and the required gradient is evaluated through a coupled system of nonlocal linear PDEs. The latter is solved by finite difference approximation or neural network-based residual approximation, depending on the state dimension. We present exhaustive numerical experiments for low and high-dimensional mean-field control problems, including sparse stabilization of stochastic Cucker-Smale models, which reveal that our algorithm captures important structures of the optimal feedback control and achieves a robust performance with respect to parameter perturbation.

연구 동기 및 목표

• 비스무스 스무스 비용 함수와 공동 평균장 상호작용을 수반하는 평균장 제어 문제에서 최적 피드백 제어를 수치적으로 효율적이고 강건하게 계산하기 위한 알고리즘 개발.
• 스무프하지 않은 비용 함수, 예를 들어 희소 유도 및 제약 조건이 있는 제어를 포함한 고차원 McKean-Vlasov SDE를 해결하는 데 도전.
• PDE 기반 그래디언트 평가와 반복적 프록시 최적화, 입자 기반 역학 시뮬레이션을 융합하여 최적 피드백 법칙의 실용적 계산을 가능하게 함.
• 저차원 및 고차원 문제 전반에서 강건성과 정확도를 입증하며, 희소 제어를 포함한 확률적 Cucker-Smale 모델에 적용.

제안 방법

• 비용 기능의 그래디언트에서 유도된 비국소 선형 PDE의 결합된 시스템을 분리하기 위해 전진-후진 분할 접근법을 사용.
• ℓ1-정규화 또는 제어 제약 조건을 위한 지표 함수와 같은 비스무스 스무스 성분을 처리하기 위해 프록시 맵을 적용.
• 가속화된 그래디언트 방법 프레임워크에 따라 매 반복마다 동적으로 업데이트되는 모멘타 매개변수를 사용하여 수렴 속도를 가속화.
• 상태 역학은 N개의 궤적을 사용한 입자 근사로 시뮬레이션되며, 이는 비용과 그래디언트의 경험적 추정을 가능하게 한다.
• 저차원에서는 유한 차분 기법을, 고차원에서는 신경망 기반 잔차 근사 기법을 사용하여 PDE 시스템을 해결.
• 감독 학습 단계에서 Adam 옵timizer를 사용한 미니배치의 내부 및 경계 점에서 손실을 최소화함으로써, 신경망이 가치 함수와 그 그래디언트를 근사하도록 훈련.

실험 결과

연구 질문

• RQ1 PDE 기반 반복 알고리즘이 비스무스 스무스 비용 함수를 수반하는 평균장 제어 문제에서 피드백 제어를 효율적으로 계산할 수 있는가?
• RQ2 제안된 FIPDE 방법은 비스무스 스무스 정규화, 예를 들어 ℓ1-노름을 포함한 고차원 설정에서 어떻게 성능을 발휘하는가?
• RQ3 동적으로 조정되는 모멘타와 프록시 업데이트는 비스무스 스무스 MFC 문제 해결 시 수렴 속도와 강건성에 어떤 영향을 미치는가?
• RQ4 알고리즘이 Cucker-Smale 시스템과 같은 모델에서 최적 제어의 구조적 특성, 예를 들어 희소성 등을 얼마나 잘 포착하는가?

주요 결과

• FIPDE 알고리즘은 고차원 상태 공간을 가진 확률적 Cucker-Smale 모델에서 최적 피드백 제어의 희소 구조를 성공적으로 포착하였다.
• 6차원 Cucker-Smale 모델의 경우, β=0일 때 약 20분 내외로 NAG 반복이 안정적으로 수렴하였고, β=1일 땐 약 8시간이 소요되어 상호작용 커널의 복잡성 증가에 따라 계산 비용이 증가하는 것을 반영하였다.
• NNPG 방법은 6차원 문제에 대해 약 20~40분이 소요되었고, FIPDE 방법은 반복당 더 빠른 속도를 보였지만 반복 횟수가 많아 총 소요 시간이 더 길었다.
• 알고리즘은 Cucker-Smale 모델의 β 및 γ₂ 값의 변화에 대해 강건하게 유지되어 안정된 성능을 보였다.
• 신경망 기반 PDE 해법기법을 사용함으로써, 고차원 문제에서 유한 차분 기법이 비현실적이게 되는 상황에서도 효과적으로 대응할 수 있었다.
• 충분한 반복 수를 거친 후 손실 안정화가 달성되었고, 학습률 스케줄러가 모든 테스트 케이스에서 수렴 행동을 크게 향상시켰다.