[논문 리뷰] Robust Multi-agent Counterfactual Prediction

Alexander Peysakhovich, Christian Kroer외 1명|arXiv (Cornell University)|2019. 01. 01.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 다중 에이전트 시스템에서 에이전트의 비공개 정보와 유틸리티 함수에 대한 불확실성 하에 조작 예측의 범위를 계산하는 방법인 강건한 다중 에이전트 조작 예측(RMAC)을 소개한다. 합리성과 모델 가정에 대한 위반에 대한 민감도를 분석함으로써, RMAC는 균형 또는 유틸리티 함수 복원이 필요 없이 1차 범위를 제공한다. 이는 경매, 학교 선택, 사회 선택 설정에서 검증되었다.

ABSTRACT

We consider the problem of using logged data to make predictions about what would happen if we changed the `rules of the game' in a multi-agent system. This task is difficult because in many cases we observe actions individuals take but not their private information or their full reward functions. In addition, agents are strategic, so when the rules change, they will also change their actions. Existing methods (e.g. structural estimation, inverse reinforcement learning) assume that agents' behavior comes from optimizing some utility or that the system is in equilibrium. They make counterfactual predictions by using observed actions to learn the underlying utility function (a.k.a. type) and then solving for the equilibrium of the counterfactual environment. This approach imposes heavy assumptions such as the rationality of the agents being observed and a correct model of the environment and agents' utility functions. We propose a method for analyzing the sensitivity of counterfactual conclusions to violations of these assumptions, which we call robust multi-agent counterfactual prediction (RMAC). We provide a first-order method for computing RMAC bounds. We apply RMAC to classic environments in market design: auctions, school choice, and social choice.

연구 동기 및 목표

• 에이전트의 비공개 정보와 유틸리티 함수가 관찰되지 않을 때 다중 에이전트 시스템에서 신뢰할 수 있는 조작 예측을 수행하는 데 도전하는 것.
• 기존 방법에서 사용하는 강력한 가정—에이전트의 합리성과 정확한 모델 사양—을 극복하는 것—구조적 추정 및 역강화 학습에서 사용됨.
• 이러한 가정의 위반에 대한 조작 예측의 민감도를 정량화하는 프레임워크를 개발하는 것.
• 균형 또는 에이전트의 유형에 대한 완전한 지식이 필요 없이도 조작 결과의 강건한 범위를 계산할 수 있는 실용적인 1차 방법을 제공하는 것.

제안 방법

• 가정된 에이전트의 합리성과 모델 정확도에서의 이탈을 고려하여 조작 결과의 범위를 계산하는 강건 최적화 프레임워크를 제안한다.
• 효율적인 범위 계산을 가능하게 하기 위해 1차 근사법을 사용하여 확장성 있는 방법을 제공한다.
• 합리성과 모델 구조의 타당성 위반에 따른 조작 예측의 변화 정도를 평가하는 민감도 분석 메커니즘을 도입한다.
• 에이전트의 행동이 전략적이며 관측된 행동이 전체 비공개 정보나 보상 함수를 드러내지 않는 환경에 적용한다.
• 에이전트의 유형과 유틸리티 함수에 대한 불확실성 하에서 조작 결과의 최악의 이탈을 특성화하기 위해 이중 공식을 활용한다.
• 균형 가정이 자주 위반되는 표준 시장 설계 문제—경매, 학교 선택, 사회 선택—에서 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 에이전트의 비공개 정보와 유틸리티 함수가 관찰되지 않을 때 다중 에이전트 시스템에서 어떻게 조작 예측을 수행할 수 있는가?
• RQ2 에이전트의 합리성 가정을 위반할 경우 조작 예측의 신뢰성에 어떤 영향을 미치는가?
• RQ3 다중 에이전트 환경에서 모델 사양 오류에 따른 조작 결과의 민감도를 어떻게 정량화할 수 있는가?
• RQ4 균형이나 에이전트의 유형에 대한 완전한 지식이 없이도 조작 예측의 강건한 범위를 계산할 수 있는가?

주요 결과

• RMAC는 에이전트의 합리성과 모델 가정 위반에 대해 강건한 조작 결과의 계산 가능한 범위를 제공한다.
• RMAC 범위를 계산하기 위한 1차 방법은 확장 가능하며, 경매 및 학교 선택과 같은 실제 시장 설계 문제에 적용 가능하다.
• 민감도 분석은 에이전트가 완전히 합리적이지 않거나 모델이 잘못 사양되었을 경우 기존의 조작 예측 방법이 오해의 소지가 있는 예측을 낼 수 있음을 드러낸다.
• 모든 테스트 환경—경매, 학교 선택, 사회 선택—에서 RMAC는 단순한 조작 예측과 강건한 범위 사이의 상당한 격차를 식별하여 모델 리스크를 부각시켰다.
• 에이전트의 유형과 유틸리티 함수에 대한 불확실성을 간과할 경우 과신되고 잠재적으로 잘못된 조작 예측 결론에 이르게 된다는 점을 메서드가 입증했다.
• RMAC가 계산한 범위는 단순한 최악의 경우 범위보다 더 날카롭게 좁혀져 정책 및 메커니즘 설계에 있어 향상된 실용적 유용성을 보여준다.