[논문 리뷰] Information Gathering in Decentralized POMDPs by Policy Graph Improvement

Mikko Lauri, Joni Pajarinen외 1명|arXiv (Cornell University)|2019. 02. 26.

Optimization and Search Problems인용 수 4

한 줄 요약

이 논문은 정보 수집을 위한 비상호작용 POMDP(Dec-POMDP)에 대해 처음으로 휴리스틱 알고리즘을 제안한다. 보상 함수가 볼록일 경우 연합 민감도 함수가 연합 민감도에 대해 볼록 임을 증명함으로써, 정책 그래프 향상 속도를 높일 수 있는 하한을 유도한다. 이에 따라 기존 방법보다 한 단계 큰 문제를 해결하면서도 높은 품질의 정책을 유지할 수 있다.

ABSTRACT

Decentralized policies for information gathering are required when multiple autonomous agents are deployed to collect data about a phenomenon of interest without the ability to communicate. Decentralized partially observable Markov decision processes (Dec-POMDPs) are a general, principled model well-suited for such decentralized multiagent decision-making problems. In this paper, we investigate Dec-POMDPs for decentralized information gathering problems. An optimal solution of a Dec-POMDP maximizes the expected sum of rewards over time. To encourage information gathering, we set the reward as a function of the agents' state information, for example the negative Shannon entropy. We prove that if the reward is convex, then the finite-horizon value function of the corresponding Dec-POMDP is also convex. We propose the first heuristic algorithm for information gathering Dec-POMDPs, and empirically prove its effectiveness by solving problems an order of magnitude larger than previous state-of-the-art.

연구 동기 및 목표

• 실행 중 통신이 불가능한 다중 에이전트 시스템에서 비중앙집중적 정보 수집 문제를 해결하기 위해.
• 정보 습득을 민감도 불확실성으로 모델링하는 볼록 보상이 있는 Dec-POMDP에 대해 확장 가능한 휴리스틱 알고리즘을 개발하기 위해.
• 보상 함수가 민감도에 대해 볼록일 경우 가치 함수가 연합 민감도에 대해 여전히 볼록함을 증명하여 단일 에이전트 결과를 비중앙집중적 환경으로 일반화하기 위해.
• 유도된 가치 함수의 하한을 활용해 고정 크기의 정책 그래프를 반복적으로 개선함으로써 효율적인 정책 탐색을 가능하게 하기 위해.
• 대규모 Dec-POMDP에서의 방법에 대한 실험적 검증을 통해 최신 기준 기술들에 비해 뛰어난 확장성과 성능을 입증하기 위해.

제안 방법

• 정보 수집 문제를 연합 민감도의 음의 샤논 엔트로피 기반 보상 함수를 갖는 Dec-POMDP로 수식화하며, 이는 볼록 함수이다.
• 보상 함수가 연합 민감도에 대해 볼록일 경우, 어떤 정책의 유한 수명 가치 함수도 연합 민감도에 대해 볼록 임을 증명한다.
• 볼록성에서 유도된 새로운 가치 함수 하한을 도입하여, 열악한 정책 그래프 개선을 제거하는 데 사용한다.
• 고정 크기의 정책 그래프를 시간 단계별로 반복적으로 개선하는 정책 그래프 반복 최적화(NPGI)를 적용한다. 이는 국소 정책 업데이트를 통해 수행된다.
• 알고리즘의 역방향 단계에서는 하한을 활용해 수렴 속도를 높이며, 해의 품질 저하 없이 진행된다.
• 알고리즘은 각 시간 단계에 대해 고정 크기의 정책 그래프에 적용되며, 표현력과 계산 가능성을 균형 잡는다.

실험 결과

연구 질문

• RQ1 보상 함수가 연합 민감도에 대해 볼록일 경우, Dec-POMDP의 가치 함수도 여전히 연합 민감도에 대해 볼록한가?
• RQ2 볼록성에서 유도된 하한을 사용해 Dec-POMDP에서 휴리스틱 정책 탐색을 가속화할 수 있는가? 이때 해의 품질이 저하되지 않는가?
• RQ3 제안된 휴리스틱 알고리즘이 이전 방법보다 더 큰 Dec-POMDP 문제에 대해 확장 가능한가? 특히 정보 수집 환경에서 그렇다면?
• RQ4 실제 다중 에이전트 정보 수집 도메인에서 정책 그래프 크기와 수명 길이에 따라 성능이 어떻게 변하는가?
• RQ5 하한 사용이 정책 개선 과정의 런타임을 줄이는 데 효과적인가? 이때도 높은 정책 가치를 유지하는가?

주요 결과

• 유한 수명의 Dec-POMDP에서 보상 함수가 민감도에 대해 볼록일 경우 가치 함수도 연합 민감도에 대해 볼록함을 입증하였으며, 이는 기존 단일 에이전트 POMDP 결과를 비중앙집중적 환경으로 일반화한 것이다.
• 제안된 휴리스틱 알고리즘인 NPGI에 하한을 적용한 방법은 이전 최신 기술 대비 정보 수집 Dec-POMDP 문제에서 한 단계 큰 크기의 문제를 해결할 수 있었다.
• MAV 도메인에서, 다양한 정책 그래프 크기와 수명 길이에서도 일관된 높은 정책 가치를 달성하였으며, 하한을 사용하더라도 성능 저하가 최소한이었다.
• 로버 도메인에서, DICEPS, JESP, GMAA*-ICE 등의 기준 기술들보다 성능이 뛰어나며, 하한 사용 시에도 성능 저하가 없었다.
• 더 긴 수명 길이(T ≥ 4)에서는 하향 단계의 런타임이 최대 50% 감소하였으며, 특히 T=5에서 가장 큰 성과를 보였다 (예: 하한 없이 158.7초 대비 하한 있음 55.34초).
• 각 시간 단계에 2개의 노드만을 가진 매우 컴act한 정책 그래프를 사용함에도 불구하고, 거의 최적에 가까운 성능을 달성하여 높은 효율성과 확장성을 입증하였다.