[논문 리뷰] Distributed neural network control with dependability guarantees: a compositional port-Hamiltonian approach

Luca Furieri, Clara Lucía Galimberti외 2명|arXiv (Cornell University)|2021. 12. 16.

Control and Stability of Dynamical Systems인용 수 4

한 줄 요약

이 논문은 대규모 비선형 사이버물리 시스템에서 분산 신경망 제어를 위한 구성적 포트-해밀턴형 접근법인 DeepDisCoPH를 제안한다. 에너지 기반 해밀턴 함수를 기반으로 한 딥 신경 ODE 컨트롤러를 구성함으로써, 네트워크 크기나 학습 진행 상황에 관계없이 폐루프 안정성과 영구적인 기울기 값을 보장한다. 수치 실험을 통해 다중 로봇 조율 및 충돌 회피 작업에서 거의 최적의 성능을 달성한다.

ABSTRACT

Large-scale cyber-physical systems require that control policies are distributed, that is, that they only rely on local real-time measurements and communication with neighboring agents. Optimal Distributed Control (ODC) problems are, however, highly intractable even in seemingly simple cases. Recent work has thus proposed training Neural Network (NN) distributed controllers. A main challenge of NN controllers is that they are not dependable during and after training, that is, the closed-loop system may be unstable, and the training may fail due to vanishing and exploding gradients. In this paper, we address these issues for networks of nonlinear port-Hamiltonian (pH) systems, whose modeling power ranges from energy systems to non-holonomic vehicles and chemical reactions. Specifically, we embrace the compositional properties of pH systems to characterize deep Hamiltonian control policies with built-in closed-loop stability guarantees, irrespective of the interconnection topology and the chosen NN parameters. Furthermore, our setup enables leveraging recent results on well-behaved neural ODEs to prevent the phenomenon of vanishing gradients by design. Numerical experiments corroborate the dependability of the proposed architecture, while matching the performance of general neural network policies.

연구 동기 및 목표

• 대규모 비선형 시스템에서 분산 신경망 제어의 신뢰성 문제, 특히 학습 중에 발생하는 불안정성과 기울기 소실/폭발 문제를 해결하기 위해.
• 인터커넥션 구조나 신경망 파라미터에 관계없이 폐루프 안정성을 보장하는 확장 가능하고 구성적인 제어 아키텍처를 개발하기 위해.
• 기울기 클리핑이나 직교 행렬 제약 조건에 의존하지 않고, 내재된 설계를 통해 기울기 소실을 방지함으로써 딥 신경 ODE 컨트롤러의 안정적 학습을 가능하게 하기 위해.
• 다중 로봇 형성 및 충돌 회피와 같은 분산 제어 과제에서 최적에 가까운 성능을 달성하면서도, 외란이나 조기 학습 종료 상황에서도 안정성을 유지하기 위해.

제안 방법

• 방법은 상호연결된 비선형 시스템을 모델링하기 위해 구성적 포트-해밀턴형(pH) 프레임워크를 사용하며, 안정성을 위한 내재된 에너지 형상 조절 특성을 활용한다.
• 컨트롤러는 깊이 있는 신경 ODE로 파arameter화되어 시스템의 해밀턴 에너지 함수를 변화시키며, 설계상 에너지 보존과 피아시비티를 보장한다.
• 폐루프 시스템이 임의의 상호연결 구조나 네트워크 깊이 조건에서도 피아시브이와 안정성을 유지하도록 아키텍처를 구성한다.
• 기울기 소실 및 폭발을 내재적으로 방지하는 잘 조율된 신경 ODE 역학을 통합함으로써, 기울기 클리핑이나 특수한 가중치 행렬을 사용할 필요 없이 안정적인 학습을 보장한다.
• 손실 함수는 표준 제어 비용, 부드러운 역거리 항을 통한 충돌 회피 페널티, 그리고 정책의 매끄러운 진화를 유도하기 위한 시간 가중치 정규화 항을 조합한다.
• 방법은 다중 로봇 조율 실험을 통해 수치적으로 검증되었으며, 컨트롤러는 유한한 시간 범위 내에서 목표 위치에 도달하면서 충돌을 방지하도록 학습된다.

실험 결과

연구 질문

• RQ1 임의의 비선형 포트-해밀턴 시스템 네트워크에 대해 폐루프 안정성을 보장할 수 있는 분산 신경망 컨트롤러를 설계할 수 있는가? 이는 네트워크의 구조나 학습 진행 상황에 관계없이 가능할 것인가?
• RQ2 고도의 깊이와 시스템의 소산성 조건이 존재하더라도, 제안된 아키텍처가 기울기 소실 및 폭발을 방지할 수 있는가?
• RQ3 조기 학습 종료 또는 왜곡된 초기 조건 하에서도 컨트롤러는 안정성과 성능을 유지하는가?
• RQ4 표준 분산 MLP와 비교했을 때, DeepDisCoPH 컨트롤러의 안정성과 제어 목표 달성 능력은 어떠한가?

주요 결과

• DeepDisCoPH 컨트롤러는 5초 이내의 학습 시간 동안 모든 로봇이 목표 위치로 안전하게 이동하면서 충돌을 피하고, 제어 노력도 최소화하며 안정성을 유지한다.
• 표준 분산 MLP 컨트롤러와는 달리, DeepDisCoPH 컨트롤러는 학습 완료 후에도 10배 이상 긴 시간 범위 동안 폐루프 안정성을 유지한다.
• 높은 깊이와 소산성 조건에도 불구하고, 모든 반복 과정에서 앙상블의 자코비안 항 ∂ζj/∂ζi의 노름 값이 일관되게 유지됨으로써 학습 전반에 걸쳐 기울기 소실이 발생하지 않음을 입증한다.
• 학습을 전체 학습 시간의 5%, 25%, 50%, 75%에서 조기에 중단하더라도 폐루프 시스템이 안정성을 유지함을 확인하여 이론적 신뢰성 보장을 확인한다.
• 초기 상태의 왜곡에 대해 강건성을 보이며, 명목 초기 상태의 반경 0.5 이내에서 샘플링된 초기 조건을 사용한 시뮬레이션의 95%에서 충돌을 피한다.
• DeepDisCoPH는 제어 비용과 충돌 회피 성능 면에서 일반 신경망 정책과 유사한 성능를 달성하지만, 증명 가능한 안정성과 기울기 행동 보장을 제공한다.