[논문 리뷰] Deep Structured Teams with Linear Quadratic Model: Partial Equivariance and Gauge Transformation

Jalal Arabneydi, Amir G. Aghdam|arXiv (Cornell University)|2019. 12. 09.

Distributed Control Multi-Agent Systems참고 문헌 20인용 수 9

한 줄 요약

이 논문은 선형 제곱 동역학을 갖는 딥 스타일드 팀을 소개하며, 부분 등변성과 게이지 변환을 활용하여 대규모 탈중앙화 제어를 위한 저복잡도이고 확장 가능한 해법을 도출한다. 깊이 상태 공유 하에서 닫힌 형태의 최적 전략과 부분적 깊이 상태 공유 하에서의 준최적 전략을 제시하며, 계산 복잡도는 팀 규모에 영향을 받지 않으며, 에이전트 수가 증가함에 따라 정보 및 내구성 가격이 0으로 수렴한다.

ABSTRACT

Motivated by the recent developments in artificial intelligence, we introduce linear quadratic deep structured teams in this paper. Two notions of equivariant and partially equivariant systems are defined, and it is shown that such systems can be partitioned into a few sub-populations of decision makers, where every decision maker in each sub-population is coupled in both dynamics and cost function through a set of linear regressions of the states and actions of all decision makers. Two non-classical information structures are considered: deep-state sharing and partial deep-state sharing, where deep state refers to the linear regression of the states of the decision makers in each sub-population. For a risk-sensitive cost function with deep-state sharing structure, a closed-form low-complexity representation of the globally optimal strategy is obtained, whose computational complexity is independent of the number of decision makers in each sub-population. In addition, it is shown that the risk-sensitive solution converges to the risk-neutral one as the number of decision makers increases to infinity. Moreover, two sub-optimal sequential strategies under partial deep-state sharing information structure are proposed by introducing two Kalman-like filters, one based on the finite-population model and the other one based on the infinite-population model. It is proved that the prices of information associated with the above sub-optimal solutions converge to zero as the number of decision makers goes to infinity. Furthermore, a class of feed-forward deep neural networks with multiple layers of weighted sums and products is introduced wherein the optimal weights and biases are explicitly obtained. A supply-chain management example is presented to demonstrate the efficacy of the obtained results.

연구 동기 및 목표

• 제한된 통신과 개인정보 보호와 같은 실용적 제약 조건 하에서, 많은 상호연결된 의사결정자가 참여하는 대규모 네트워크 시스템의 탈중앙화 제어 문제를 해결한다.
• 연속 상태와 행동을 갖는 팀에서 선형 제곱 제어 문제를 위한 확장 가능한 프레임워크를 개발한다. 이는 딥 신경망 아키텍처에서 영감을 받는다.
• 두 개의 비고전적 정보 구조인 깊이 상태 공유와 부분적 깊이 상태 공유 하에서 최적 제어 전략을 수립하고 해결한다.
• 의사결정자 수가 증가함에 따라 제안된 해법의 확장성과 수렴 성질을 입증한다.
• 딥 스타일드 팀과 딥 피드포워드 신경망 간의 이론적 연결을 구축하며, 최적 가중치와 바이어스의 명시적 계산을 보여준다.

제안 방법

• 의사결정자가 선형 회귀를 통한 상태와 행동의 선형 결합으로 연결된 하위집단으로 그룹화된 등변성 및 부분 등변성 시스템을 정의한다.
• 두 가지 정보 구조를 도입한다: 깊이 상태 공유(상태의 선형 회귀에 대한 전체 액세스)와 부분적 깊이 상태 공유(해당 회귀에 대한 제한된 액세스).
• 게이지 변환과 특화된 앤투즈를 적용하여 하밀턴-자비-벨리만 방정식을 저차원 리카티 방정식 시스템으로 축소하며, 이는 국지적 리카티 방정식과 전역적 리카티 방정식을 포함한다.
• 깊이 상태 공유 하에서 계산 복잡도가 하위집단 크기와 무관한 닫힌 형태의 전역 최적 전략을 유도한다.
• 칼만 유사 필터를 사용하는 두 가지 준최적 순차 전략을 제안한다: 유한 집단 기반과 무한 집단 근사 기반.
• 의사결정자 수가 무한으로 갈수록 정보 및 내구성 가격이 0으로 수렴함을 입증한다.

실험 결과

연구 질문

• RQ1 제한된 정보 하에서 상호의존적인 동역학과 비용 함수를 갖는 대규모 팀의 의사결정자들 간 최적 제어는 어떻게 달성할 수 있는가?
• RQ2 의사결정자들이 깊이 상태(상태의 가중 평균)와 행동을 공유할 경우 최적 해의 구조는 어떻게 되는가?
• RQ3 제안된 해법은 의사결정자 수에 따라 어떻게 확장되는가? 복잡도를 팀 크기와 독립적으로 만들 수 있는가?
• RQ4 부분적 깊이 상태 공유 하에서 준최적 전략의 성능 보장은 무엇이며, 특히 대규모 팀에서의 극한에서 어떻게 되는가?
• RQ5 제안된 프레임워크는 아키텍처 구조와 파rameter 최적화 측면에서 얼마나 딥 신경망 아키텍처와 유사한가?

주요 결과

• 깊이 상태 공유 구조 하에서 계산 복잡도가 각 하위집단 내 의사결정자 수에 영향을 받지 않는 닫힌 형태의 전역 최적 전략이 도출되었다.
• 의사결정자 수가 무한으로 증가함에 따라 리스크 민감도 최적 해가 리스크 중립 해로 수렴한다.
• 유한 집단 기반과 무한 집단 근사 기반의 두 준최적 전략에 대한 정보 가격은 의사결정자 수가 무한으로 갈수록 0으로 수렴한다.
• 제안된 프레임워크는 저차원 리카티 방정식의 해를 통해 명시적으로 계산 가능한 최적 가중치와 바이어스를 갖는 피드포워드 딥 신경망의 클래스를 도출한다.
• 공급망 관리 사례는 최적 전략이 비대칭 영향 요소가 존재하더라도 공급자 생산과 유통업체 배포를 효과적으로 조율함을 보여준다.
• 이론적 프레임워크는 딥 스타일드 팀과 딥 피드포워드 신경망 간에 직접적인 구조적 및 계산적 유사성을 확립하며, 특히 층 간 가중합과 곱셈의 사용에서 유사성을 보여준다.