[논문 리뷰] A Unified Approach to Dynamic Decision Problems with Asymmetric Information - Part I: Non-Strategic Agents

Hamidreza Tavafoghi, Yi Ouyang외 1명|arXiv (Cornell University)|2018. 12. 03.

Auction Theory and Applications참고 문헌 51인용 수 4

한 줄 요약

이 논문은 비전략적 에이전트와 비대칭 정보를 가진 동적 다중에이전트 결정 문제를 위한 통합 프레임워크를 제안한다. 이를 위해 시간에 불변하고 상호 일관된 방식으로 사적 정보와 공통 정보를 압축하는 충분한 정보 기반 신뢰(SIB) 상태를 제안한다. 주요 기여는 역순 추론을 가능하게 하는 순차적 분해를 통해 동적 팀에서 최적 전략을 전역적으로 도출할 수 있도록 하는 동적 프로그래밍 기반의 방법이다. 이는 최적성의 손실 없이 이루어진다.

ABSTRACT

We study a general class of dynamic multi-agent decision problems with asymmetric information and non-strategic agents, which includes dynamic teams as a special case. When agents are non-strategic, an agent's strategy is known to the other agents. Nevertheless, the agents' strategy choices and beliefs are interdependent over times, a phenomenon known as signaling. We introduce the notions of private information that effectively compresses the agents' information in a mutually consistent manner. Based on the notions of sufficient information, we propose an information state for each agent that is sufficient for decision making purposes. We present instances of dynamic multi-agent decision problems where we can determine an information state with a time-invariant domain for each agent. Furthermore, we present a generalization of the policy-independence property of belief in Partially Observed Markov Decision Processes (POMDP) to dynamic multi-agent decision problems. Within the context of dynamic teams with asymmetric information, the proposed set of information states leads to a sequential decomposition that decouples the interdependence between the agents' strategies and beliefs over time, and enables us to formulate a dynamic program to determine a globally optimal policy via backward induction.

연구 동기 및 목표

• 비대칭 정보와 비전략적 에이전트를 가진 동적 다중에이전트 시스템에서 상호의존적인 전략과 신뢰 문제를 다루기 위해.
• 에이전트의 사적 정보와 공통 정보를 시간에 불변하고 최적의 의사결정을 유지하는 충분한 정보 상태로 압축하는 일반적인 방법을 개발하기 위해.
• 시간에 따라 에이전트의 전략과 신뢰 간의 상호의존성을 분리하는 순차적 분해를 수립하여 역순 추론을 가능하게 하기 위해.
• POMDP의 신뢰에 대한 정책 독립성 성질을 비대칭 정보를 가진 다중에이전트 환경으로 일반화하기 위해.
• 비대칭 정보를 가진 동적 팀에서 전역적으로 최적의 전략 프로파일을 결정하기 위한 동적 프로그래밍을 수립하기 위해.

제안 방법

• 시간에 걸쳐 상호 일관된 방식으로 에이전트의 사적 정보와 공통 정보를 압축하는 충분한 사적 정보(SPI)의 개념을 도입한다.
• 시스템 상태와 SPI에 대한 신뢰로 구성되는 충분한 정보 기반 신뢰(SIB) 상태를 정의하며, 특정 조건 하에서는 시간에 불변함을 보인다.
• 에이전트의 전략과 신뢰 간의 상호의존성을 분리하는 순차적 분해를 제안하여 역순 추론을 가능하게 한다.
• SIB 신뢰와 베이즈 규칙에 의한 시간에 불변한 업데이트 규칙을 사용하여 동적 프로그래밍을 수립하고, 이를 통해 신뢰를 순차적으로 계산한다.
• POMDP의 정책 독립성 신뢰 성질을 비대칭 정보를 가진 동적 팀으로 일반화한다.
• 정적 SIB 전략과 시간에 불변한 업데이트 규칙을 사용하여 무한 수명 동적 팀에 대한 벨먼 방정식을 유도한다.

실험 결과

연구 질문

• RQ1 비대칭 정보와 비전략적 에이전트를 가진 동적 다중에이전트 시스템에서 사적 정보와 공통 정보를 최적성의 손실 없이 시간에 불변하고 충분한 정보 상태로 압축할 수 있는가?
• RQ2 비대칭 정보를 가진 동적 팀에서 시간에 따라 에이전트의 전략과 신뢰 간의 상호의존성을 어떻게 분리할 수 있는가?
• RQ3 POMDP의 신뢰에 대한 정책 독립성 성질이 비대칭 정보와 비전략적 에이전트를 가진 다중에이전트 시스템으로 확장되는가?
• RQ4 SIB 상태를 사용하여 비대칭 정보를 가진 동적 팀에서 전역적으로 최적의 전략 선택을 위한 동적 프로그래밍을 어떻게 수립할 수 있는가?
• RQ5 어떤 조건에서 동적 결정 문제에서 시간에 불변한 충분한 사적 정보가 존재할 수 있는가?

주요 결과

• 제안된 SIB 신뢰 상태는 의사결정에 충분하며, 전략과 신뢰의 상호의존성을 시간에 따라 분리하는 순차적 분해를 가능하게 한다.
• SIB 기반 전략으로 제한함으로써 비전략적 에이전트를 가진 동적 결정 문제에서 최적성의 손실이 발생하지 않는다.
• 특정 사례에서는 충분한 사적 정보의 정의역이 시간에 불변하므로 정적 전략을 사용할 수 있다.
• SIB 신뢰와 시간에 불변한 업데이트 규칙을 사용하여 동적 프로그래밍을 수립하여 역순 추론을 통해 전역적으로 최적의 전략을 계산할 수 있다.
• POMDP의 정책 독립성 신뢰 성질이 비대칭 정보를 가진 동적 팀으로 일반화되었다.
• 무한 수명 동적 팀에 대해 정적 SIB 전략과 시간에 불변한 업데이트 규칙을 사용하여 벨먼 방정식을 유도하였다. 이는 POMDP 수식을 비대칭 정보를 가진 다중에이전트 환경으로 일반화한 것이다.