[논문 리뷰] Influence-Optimistic Local Values for Multiagent Planning --- Extended Version

Frans A. Oliehoek, Matthijs T. J. Spaan외 1명|arXiv (Cornell University)|2015. 02. 18.

Multi-Agent Systems and Negotiation참고 문헌 48인용 수 3

한 줄 요약

이 논문은 요인 분해된 Dec-POMDPs에서 요인 분해된 가치 함수가 없는 경우에도 영향-낙관적 상한선(IO-UBs)을 도입하여, 외부 영향에 대해 낙관적인 가정을 한 국소 하위 문제 분해를 통해 날카로운 전역 상한선을 도출한다. 이 방법은 수백 명의 에이전트가 있는 문제에서 히ュ리스틱 해법의 경험적 근사 인자 값이 1.7 이하로 유지되며, 대규모 다에이전트 계획 문제에 대해 강력한 품질 보장을 제공한다.

ABSTRACT

Recent years have seen the development of methods for multiagent planning under uncertainty that scale to tens or even hundreds of agents. However, most of these methods either make restrictive assumptions on the problem domain, or provide approximate solutions without any guarantees on quality. Methods in the former category typically build on heuristic search using upper bounds on the value function. Unfortunately, no techniques exist to compute such upper bounds for problems with non-factored value functions. To allow for meaningful benchmarking through measurable quality guarantees on a very general class of problems, this paper introduces a family of influence-optimistic upper bounds for factored decentralized partially observable Markov decision processes (Dec-POMDPs) that do not have factored value functions. Intuitively, we derive bounds on very large multiagent planning problems by subdividing them in sub-problems, and at each of these sub-problems making optimistic assumptions with respect to the influence that will be exerted by the rest of the system. We numerically compare the different upper bounds and demonstrate how we can achieve a non-trivial guarantee that a heuristic solution for problems with hundreds of agents is close to optimal. Furthermore, we provide evidence that the upper bounds may improve the effectiveness of heuristic influence search, and discuss further potential applications to multiagent planning.

연구 동기 및 목표

• 불확실성 하에서 대규모 다에이전트 계획에 대해 확장 가능하고 보장 가능한 상한선가 부족한 문제를 해결하기 위해.
• 요인 분해된 가치 함수를 허용하지 않는 요인 분해된 Dec-POMDPs에서 히ュ리스틱 해법의 성능 보장을 가능하게 하기 위해.
• 전체 시스템 영향에 대해 국소적인 낙관적 가정을 사용하여 비요인 분해된 가치 함수 설정에서 상한선을 계산하는 일반적인 기법을 개발하기 위해.
• 이러한 상한선이 히ュ리스틱 방법의 벤치마킹과 히ュ리스틱 탐색의 효율성을 향상시키는 데 유용함을 입증하기 위해.
• 해결 품질 격차를 정량화하여 실용적 구현과 이론적 분석을 지원하기 위해 다에이전트 시스템의 성능 향상에 기여하기 위해.

제안 방법

• 상태 요인과 에이전트 상호작용의 분할 기반으로 대규모 요인 분해된 Dec-POMDPs를 더 작은 하위 문제들로 분해한다.
• 각 하위 문제에 대해 나머지 시스템으로부터의 낙관적인 영향을 가정하여 국소 상한선을 계산함으로써 하위 문제들을 독립적으로 해결할 수 있도록 한다.
• 영향-낙관주의를 활용하여 하위 문제들을 분리한다: 외부 에이전트와 상태 요인으로부터 가장 유리한 가능한 영향을 가정한다.
• 국소 상한선을 조합하여 요인 모델의 구조를 활용하여 전체 문제의 가치에 대한 전역 상한선을 도출한다.
• 확장성을 확보하기 위해 분할 기반의 분해를 적용하여 하위 문제들이 여전히 처리 가능하면서도 전역 상한선의 품질을 유지한다.
• 히ュ리스틱 해법의 상한선을 계산하는 데 이 방법을 적용하여 근사 품질의 경험적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 요인 분해된 가치 함수가 없는 대규모 요인 분해된 Dec-POMDPs에 대해 날카로운 상한선를 계산할 수 있는가?
• RQ2 외부 영향에 대한 영향-낙관적 가정이 다에이전트 계획에 효과적이고 확장 가능한 상한선를 제공할 수 있는가?
• RQ3 이러한 상한선가 수백 명의 에이전트가 있는 문제에서 히ュ리스틱 해법에 대해 의미 있는 품질 보장을 제공할 수 있는 정도는 어느 정도인가?
• RQ4 이러한 상한선는 기존 방법 대비 날카로움과 계산 가능성 측면에서 어떻게 비교되는가?
• RQ5 이러한 상한선가 다에이전트 계획에서 히ュ리스틱 탐색 방법의 효율성을 향상시킬 수 있는가?

주요 결과

• 제안된 영향-낙관적 상한선은 요인 분해된 Dec-POMDPs에서 수백 명의 에이전트가 있는 문제에서 히ュ리스틱 해법의 경험적 근사 인자 값이 1.7 이하로 도달한다.
• 이전에는 이러한 보장이 없었던 문제에서 히ュ리스틱 해법에 대해 비현실적이지 않은 측정 가능한 품질 보장을 제공한다.
• 경험적 결과는 상한선가 대규모 다에이전트 시스템에서 히ュ리스틱 방법의 성능 격차를 의미 있게 평가할 수 있도록 충분히 날카로운 것을 보여준다.
• 실험 결과에 따르면 상한선은 히ュ리스틱 영향 탐색의 효율성을 향상시킨다.
• 가치 분해에 의존하는 이전 방법을 일반화하여, 비요인 분해된 가치 함수 설정으로도 상한선 계산을 확장한다.
• 영향 강도가 약한 결합의 핵심 차원임을 시사하는 증거가 있으며, 국소 근사의 성능에 영향을 미친다.