[논문 리뷰] Distributed Planning in Hierarchical Factored MDPs

Carlos Guestrin, Geoffrey J. Gordon|arXiv (Cornell University)|2012. 12. 12.

Reinforcement Learning in Robotics참고 문헌 23인용 수 57

한 줄 요약

이 논문은 계층적 요인 분해 마르코프 결정 과정(Hierarchical Factored MDPs)을 위한 분산 계획 알고리즘을 제안하며, 국소적 계산을 통해 다중 에이전트 시스템이 대규모 계획 문제를 공동으로 해결할 수 있도록 한다. 에이전트의 하위시스템을 계층적으로 구조화하고 국소 선형 프로그래밍을 통한 메시지 전달을 이용함으로써, 중심 집중적 조율 없이도 전역 일관성을 달성하며, 하위시스템 간의 구조적 유사성이 있을 경우 유의미하게 확장성과 재사용성을 향상시킨다.

ABSTRACT

We present a principled and efficient planning algorithm for collaborative multiagent dynamical systems. All computation, during both the planning and the execution phases, is distributed among the agents; each agent only needs to model and plan for a small part of the system. Each of these local subsystems is small, but once they are combined they can represent an exponentially larger problem. The subsystems are connected through a subsystem hierarchy. Coordination and communication between the agents is not imposed, but derived directly from the structure of this hierarchy. A globally consistent plan is achieved by a message passing algorithm, where messages correspond to natural local reward functions and are computed by local linear programs; another message passing algorithm allows us to execute the resulting policy. When two portions of the hierarchy share the same structure, our algorithm can reuse plans and messages to speed up computation.

연구 동기 및 목표

• 복잡한 상태 공간을 가진 대규모 다중 에이전트 시스템에서의 확장 가능한 계획 문제에 도전한다.
• 각 에이전트가 국소 하위시스템만을 계획함으로써 계산 부담을 줄이는 분산 계산을 가능하게 한다.
• 중앙 집중적 조율이나 명시적 통신 프로토콜을 요구하지 않고도 계획의 전역 일관성을 달성한다.
• 계층적 구조를 활용하여 유사한 하위시스템 간에 계획과 메시지 재사용을 가능하게 하여 효율성을 향상시킨다.
• 실행 중에도 일관성을 유지할 수 있도록 두 번째 메시지 전달 메커니즘을 통해 최종 정책을 실행한다.

제안 방법

• 다중 에이전트 시스템을 계층적 요인 분해 MDP로 모델링하여 전역 문제를 더 작고 관리하기 쉬운 국소 하위시스템으로 분해한다.
• 국소 선형 프로그래밍을 사용해 자연스러운 국소 보상 함수를 나타내는 메시지를 계산함으로써 분산된 최적 정책 계산을 가능하게 한다.
• 계층에 걸쳐 메시지 전달 알고리즘을 적용하여 에이전트 간의 계획을 조율하고 전역 일관성을 보장한다.
• 계층적 구조에서 유도된 은닉적 조율 및 통신 메커니즘을 통해 강제로 부여된 조율 규칙을 피한다.
• 동일하거나 유사한 하위시스템 구조가 반복될 경우 이전에 계산된 계획과 메시지를 재사용하여 계산을 가속화한다.
• 계층을 따라 일관되게 행동 결정을 전파하는 두 번째 메시지 전달 단계를 통해 최종 정책을 실행한다.

실험 결과

연구 질문

• RQ1 대규모 다중 에이전트 계획 문제를 분산 계산을 통해 효율적으로 해결할 수 있는가?
• RQ2 중앙 집중적 조율이나 명시적 통신 프로토콜 없이도 계획의 전역 일관성을 달성할 수 있는가?
• RQ3 하위시스템 간의 구조적 유사성을 얼마나 활용하여 계산 효율성을 향상시킬 수 있는가?
• RQ4 계층적 요인 분해 MDP에서의 국소 계획은 어떻게 조율되어 전역적으로 최적 또는 근사 최적의 정책을 도출할 수 있는가?
• RQ5 어떤 메커니즘이 계획과 실행을 모두 분산화하면서도 에이전트 간의 일관성을 유지할 수 있게 하는가?

주요 결과

• 알고리즘은 중심 집중적 조율 없이도 계층적 구조를 따라 메시지 전달을 통해 계획의 전역 일관성을 달성한다.
• 선형 프로그래밍을 통한 국소 계산은 상태 공간이 지수적으로 증가하는 시스템에서도 효율적이고 확장 가능한 계획을 가능하게 한다.
• 하위시스템이 동일한 구조적 형태를 공유할 경우 알고리즘은 이전에 계산된 메시지와 계획을 재사용하여 중복 계산을 크게 줄인다.
• 메시지가 자연스러운 국소 보상 함수를 인코딩함으로써 알고리즘은 계획과 실행을 완전히 분산된 방식으로 지원한다.
• 이 접근법은 계층적 요인 분해 MDP에 체계적인 기반을 두고 있으며, 다중 에이전트 시스템에서 실용적인 확장성을 입증한다.
• 센서 네트워크와 로봇 팀과 같은 실제 문제에 적용 가능하며, 이는 탈중앙화와 확장성의 핵심 요건을 충족한다.