[논문 리뷰] Stochastic Optimal Control in Continuous Space-Time Multi-Agent Systems

Wim Wiegerinck, Bart van den Broek외 1명|arXiv (Cornell University)|2012. 06. 27.

Bayesian Modeling and Causal Inference참고 문헌 6인용 수 11

한 줄 요약

이 논문은 비선형 역학과 가우시안 노이즈를 갖는 연속 공간-시간 다중 에이전트 시스템에 대해 스토하스틱 최적 제어 이론을 확장하며, 목표 지점으로 분포하는 상호작용이 없는 에이전트의 최적 제어가 종단 비용에 가중치를 부여한 단일 에이전트 제어의 조합 합으로 감소함을 보여준다. 주요 기여는 계산 비용이 할당 그래프의 트리 폭에 대해서만 지수적으로 증가하는 확장 가능한 방법을 개발한 것으로, 최대 42명의 에이전트를 포함한 시뮬레이션을 가능하게 한다.

ABSTRACT

Recently, a theory for stochastic optimal control in non-linear dynamical systems in continuous space-time has been developed (Kappen, 2005). We apply this theory to collaborative multi-agent systems. The agents evolve according to a given non-linear dynamics with additive Wiener noise. Each agent can control its own dynamics. The goal is to minimize the accumulated joint cost, which consists of a state dependent term and a term that is quadratic in the control. We focus on systems of non-interacting agents that have to distribute themselves optimally over a number of targets, given a set of end-costs for the different possible agent-target combinations. We show that optimal control is the combinatorial sum of independent single-agent single-target optimal controls weighted by a factor proportional to the end-costs of the different combinations. Thus, multi-agent control is related to a standard graphical model inference problem. The additional computational cost compared to single-agent control is exponential in the tree-width of the graph specifying the combinatorial sum times the number of targets. We illustrate the result by simulations of systems with up to 42 agents.

연구 동기 및 목표

• 비선형 역학과 추가적 위너 노이즈를 갖는 연속 공간-시간 다중 에이전트 시스템에 대한 스토하스틱 최적 제어 프레임워크를 개발하기 위해.
• 상태에 의존하는 항과 제어 곱항을 포함한 공동 비용 최소화 조건 하에서의 최적 다중 에이전트 조율 문제를 다루기 위해.
• 다중 목표 지점으로 분포하는 상호작용이 없는 에이전트의 최적 제어 정책을 효율적으로 계산하기 위해.
• 계산 가능성을 확보하기 위해 다중 에이전트 최적 제어를 표준 그래픽 모델 추론 문제로 연결하기 위해.

제안 방법

• 저자들은 Kappen의 스토하스틱 최적 제어 이론(2005)을 추가적 위너 노이즈가 있는 연속 공간-시간 역학에 적용한다.
• 각 에이전트는 자체 역학을 제어하며, 연속 시간 동안 상태에 의존하는 항과 제곱형 제어 비용을 포함한 공동 비용을 최소화한다.
• 최적 제어 정책은 에이전트-타겟 쌍의 종단 비용에 의해 가중치가 부여된 독립된 단일 에이전트 제어의 조합 합으로 유도된다.
• 이 방법은 할당 그래프의 구조를 활용하며, 계산 비용은 그래프의 트리 폭에 대해 지수적으로 증가하고, 목표 수에 대해 선형적으로 증가한다.
• 이 접근법은 다중 에이전트 문제를 표준 그래픽 모델의 추론 문제로 환원하여, 동적 프rogramming 또는 믿음 전파를 통한 효율적 해법을 가능하게 한다.
• 시뮬레이션을 통해 최대 42명의 에이전트를 포함한 시스템에서 방법의 타당성과 확장 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 비선형 역학과 추가적 노이즈를 갖는 연속 공간-시간 다중 에이전트 시스템에 대해 스토하스틱 최적 제어를 어떻게 확장할 수 있는가?
• RQ2 이러한 시스템에서 최적 다중 에이전트 제어의 계산 복잡도는 무엇이며, 어떻게 최소화할 수 있는가?
• RQ3 다수의 에이전트에 대한 최적 제어 정책을 단일 에이전트 제어의 조합 합으로 분해할 수 있는가?
• RQ4 할당 그래프의 트리 폭이 다중 에이전트 제어 문제의 계산 비용에 어떤 영향을 미치는가?
• RQ5 표준 그래픽 모델 추론 기법을 다중 에이전트 스토하스틱 최적 제어에 얼마나 적용할 수 있는가?

주요 결과

• 상호작용이 없는 에이전트의 최적 제어 정책은 각각의 종단 비용에 의해 가중치가 부여된 독립된 단일 에이전트 제어의 조합 합이다.
• 이 방법의 계산 비용은 에이전트-타겟 할당을 지정하는 그래프의 트리 폭에 대해서만 지수적으로 증가하며, 에이전트 수에 따라 증가하지 않는다.
• 이 방법은 최대 42명의 에이전트를 포함한 시스템에 대해 최적 제어를 가능하게 한다. 시뮬레이션을 통해 이를 입증하였다.
• 문제는 표준 그래픽 모델 추론 작업으로 환원되며, 기존의 추론 알고리즘을 활용할 수 있다.
• 경로 적분 공식을 통해 제제 제어 비용과 상태에 의존하는 종단 비용이 균형을 이루며, 최적 정책 수렴을 보장한다.
• 이 프레임워크는 역학의 연속 공간-시간 특성을 유지하면서도 다중 에이전트 조율의 확장 가능성을 보장한다.