[논문 리뷰] The Complexity of Decentralized Control of Markov Decision Processes

Daniel S. Bernstein, Shlomo Zilberstein외 1명|arXiv (Cornell University)|2013. 01. 16.

Optimization and Search Problems참고 문헌 34인용 수 237

한 줄 요약

이 논문은 부분 관찰 가능성을 가진 마르코프 결정 과정(MDPs)에서의 탈중앙화된 제어를 조사하며, 불확실성 하에서 다중 에이전트 계획을 위한 일반화된 모델을 도입한다. 이 모델에서 심지어 유한 수명 문제조차도 NEXP-완전함을 증명하여, 탈중앙화된 계획 수립이 이중 지수 시간이 필요하며, 기존 기법을 사용해 중심집중형 솔루션으로 효율적으로 축약될 수 없음을 보여준다.

ABSTRACT

Planning for distributed agents with partial state information is considered from a decision- theoretic perspective. We describe generalizations of both the MDP and POMDP models that allow for decentralized control. For even a small number of agents, the finite-horizon problems corresponding to both of our models are complete for nondeterministic exponential time. These complexity results illustrate a fundamental difference between centralized and decentralized control of Markov processes. In contrast to the MDP and POMDP problems, the problems we consider provably do not admit polynomial-time algorithms and most likely require doubly exponential time to solve in the worst case. We have thus provided mathematical evidence corresponding to the intuition that decentralized planning problems cannot easily be reduced to centralized problems and solved exactly using established techniques.

연구 동기 및 목표

• 다중 에이전트의 부분 상태 정보 하에서 마르코프 결정 과정의 탈중앙화된 제어를 체계화하기.
• 탈중앙화된 환경에서의 유한 수명 계획 수립의 계산 복잡도 규명하기.
• 탈중앙화된 제어와 중심집중형 MDP 및 POMDP의 복잡도 비교하기.
• 탈중앙화된 계획 수립이 중심집중형 접근 방식으로 효율적으로 축약될 수 없다는 이론적 증거 제공하기.

제안 방법

• 다중 에이전트 간 부분 관찰 가능성을 고려한 탈중앙화된 제어를 허용하는 일반화된 MDP 모델 제안.
• 기본 POMDP의 확장으로서 탈중앙화된 부분 관찰 가능 MDP(Dec-POMDP)에 대한 공식적 프레임워크 도입.
• 이 모델에서의 유한 수명 문제 해결의 계산 난이도를 분류하기 위해 복잡도 이론적 분석 사용.
• 특히 NEXP 클래스를 활용해 완전성 결과를 수립하기 위해 계산 복잡도 이론의 결과 적용.
• 에이전트들이 국소적 관찰에 기반해 독립적으로 행동하는 불확실성 하의 결정 문제 분석.
• P = NEXP일 경우를 제외하고는 이러한 문제를 다항 시간 내에 해결할 수 있는 알고리즘이 존재하지 않음을 입증.

실험 결과

연구 질문

• RQ1 부분 관찰 가능성을 가진 탈중앙화된 MDP에서의 유한 수명 계획 수립의 계산 복잡도는 무엇인가?
• RQ2 탈중앙화된 제어의 복잡도는 중심집중형 MDP 및 POMDP와 비교해 어떻게 다를까?
• RQ3 기존 기법을 사용해 탈중앙화된 계획 문제를 중심집중형 문제로 축약할 수 있는가?
• RQ4 불확실성 하에서 탈중앙화된 의사결정 수립을 해결하는 알고리즘의 효율성에 본질적인 제한이 존재하는가?
• RQ5 탈중앙화된 제어의 구조가 본질적으로 지수 시간을 초월해 더 오랜 시간이 필요로 하는가?

주요 결과

• 제안된 탈중앙화된 MDP 모델에서의 유한 수명 문제들은 비결정적 지수 시간(NEXP)에 대해 완전하다.
• 탈중앙화된 제어의 복잡도는 중심집중형 MDP(P에 속함) 및 POMDP(PSPACE에 속함)와 비교해 본질적으로 더 높다.
• 이 결과는 P = NEXP일 경우를 제외하고는 이러한 문제를 다항 시간 내에 해결할 수 있는 알고리즘이 존재하지 않음을 시사하며, 이는 매우 불가능한 일로 여겨진다.
• 논문은 기존 기법을 사용해 탈중앙화된 계획 수립을 중심집중형 계획 수립으로 효율적으로 축약할 수 없다는 수학적 증거를 제공한다.
• 결과는 불확실성 하에서 탈중앙화된 의사결정 수립이 중심집중형 솔루션보다 본질적으로 더 복잡하고 비효율적임을 확인한다.