[논문 리뷰] Leader-Based Optimal Coordination Control for the Consensus Problem of Multiagent Differential Games via Fuzzy Adaptive Dynamic Programming

Huaguang Zhang, Jilie Zhang외 2명|arXiv (Cornell University)|2017. 11. 30.

Adaptive Dynamic Programming Control참고 문헌 39인용 수 6

한 줄 요약

이 논문은 퍼지 적응 동적 프ogramming(FADP)을 사용하여 다중 에이전트 미분 게임에 대한 리더 기반 최적 협동 제어 방식을 제안한다. 단일 일반화 퍼지 하이퍼볼릭 모델(GFHM)을 사용하여 가치 함수를 근사하고 정책 반복 기반으로 연관된 해밀턴-자코비 방정식을 해결함으로써 액션 네트워크가 필요 없도록 한다. 이 방법은 균일하게 궁극적으로 유계(UUB)인 협의 오차와 협동적 균일하게 궁극적으로 유계(CUUB)인 제어 궤적을 보장하며, 안정성은 분석적으로 증명된다.

ABSTRACT

In this paper, a new on-line scheme is presented to design the optimal coordination control for the consensus problem of multi-agent differential games by fuzzy adaptive dynamic programming (FADP), which brings together game theory, generalized fuzzy hyperbolic model (GFHM) and adaptive dynamic programming. In general, the optimal coordination control for multi-agent differential games is the solution of the coupled Hamilton-Jacobi (HJ) equations. Here, for the first time, GFHMs are used to approximate the solution (value functions) of the coupled HJ equations, based on policy iteration (PI) algorithm. Namely, for each agent, GFHM is used to capture the mapping between the local consensus error and local value function. Since our scheme uses the single-network rchitecture for each agent (which eliminates the action network model compared with dual-network architecture), it is a more reasonable architecture for multi-agent systems. Furthermore, the approximation solution is utilized to obtain the optimal coordination controls. Finally, we give the stability analysis for our scheme, and prove the weight estimation error and the local consensus error are uniformly ultimately bounded. Further, the control node trajectory is proven to be cooperative uniformly ultimately bounded.

연구 동기 및 목표

• 에이전트가 개별 성능 지표를 최소화하면서도 협의를 달성하는 다중 에이전트 시스템에서 최적 협동 제어 문제를 해결하기 위해.
• 다중 에이전트 미분 게임에서 연관된 해밀턴-자코비(HJ) 방정식을 풀이하는 데 발생하는 계산적 어려움을 극복하기 위해.
• 이중 네트워크 아키텍처를 단일 GFHM 기반 근사기로 대체하여 더 효율적이고 안정적인 제어 아키텍처를 개발하기 위해.
• 엄밀한 이론적 분석을 통해 협의 오차와 제어 궤적의 안정성을 확보하기 위해.
• 퍼지 논리와 적응 동적 프로그래밍을 통합하여 물리적 해석이 명확한 가치 함수의 개선된 근사를 위해.

제안 방법

• 다중 에이전트 미분 게임의 맥락에서 정책 반복(PI)을 사용하여 제어 정책과 가치 함수 근사치를 반복적으로 갱신한다.
• 가치 함수의 함수 근사기로 단일 일반화 퍼지 하이퍼볼릭 모델(GFHM)을 사용하여 이중 네트워크 아키텍처를 대체한다.
• 국소적 협의 오차와 국소적 가치 함수 간의 맵핑을 GFHM으로 모델링하여 최적 제어 전략의 온라인 학습을 가능하게 한다.
• 가중치 갱신 수를 줄이고 액션 네트워크가 필요 없도록 하는 단일 네트워크 아키텍처를 도입한다.
• 해밀턴-자코비-벨만 방정식 프레임워크를 기반으로 근사된 가치 함수에서 최적 제어 법칙을 유도한다.
• 가중치 추정 오차와 국소적 협의 오차가 균일하게 궁극적으로 유계(UUB)임을 증명함으로써 안정성 조건을 확립한다.

실험 결과

연구 질문

• RQ1 단일 GFHM 기반 FADP 프레임워크는 다중 에이전트 미분 게임에서 연관된 HJ 방정식의 해를 효과적으로 근사할 수 있는가?
• RQ2 액션 네트워크를 단일 GFHM으로 대체함으로써 최적 협동 제어의 안정성과 효율성이 어떻게 향상되는가?
• RQ3 제안된 방법에서 협의 오차와 가중치 추정 오차의 균일하게 궁극적으로 유계(UUB)가 보장되기 위한 조건은 무엇인가?
• RQ4 리더 기반 아키텍처는 최적 협동 제어의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 동적이고 불확실한 에이전트 상호작용 하에서 제안된 방법이 협동적 균일하게 궁극적으로 유계(CUUB) 제어 궤적을 달성할 수 있는가?

주요 결과

• 단일 GFHM 기반 FADP 기법은 균일하게 궁극적으로 유계(UUB)인 협의 오차를 달성하여 다중 에이전트 시스템의 장기적 안정성을 보장한다.
• GFHM 근사에서의 가중치 추정 오차가 균일하게 궁극적으로 유계임이 증명되어 신뢰할 수 있는 학습 수렴성을 나타낸다.
• 제어 노드 궤적은 협동적 균일하게 궁극적으로 유계(CUUB)임이 입증되어 네트워크 전반에서의 협동적이고 안정적인 행동을 확인한다.
• 단일 네트워크 아키텍처는 계산 복잡성을 감소시키고 액션 네트워크가 필요 없게 하여 이중 네트워크 방법에 비해 확장성과 내성적 안정성을 향상시킨다.
• 안정성 분석은 제안된 방법이 동적 상호작용과 근사 오차가 존재하는 상황에서도 시스템 성능을 유지함을 확인한다.
• 수치 예제는 본 방법이 최소한의 에너지 소비와 빠른 수렴을 통해 최적의 협의를 달성하는 데 효과적임을 보여준다.