[논문 리뷰] A Framework For Designing Information Elicitation Mechanisms That Reward Truth-telling.

Yuqing Kong, Grant Schoenebeck|arXiv (Cornell University)|2016. 05. 03.

Auction Theory and Applications참고 문헌 22인용 수 9

한 줄 요약

이 논문은 에이전트들의 공통 사전 확률에 대한 지식 없이도 진술을 진실로 보고하는 것이 가장 높은 보상이 되는 균형이 되도록 보장함으로써 정보 수집 메커니즘을 설계하기 위한 일반적인 프레임워크를 제시한다. 진술의 정보량을 측정하기 위해 f-불일치, f-상호정보량, f-정보량 증가와 같은 단조 증가 함수를 도입하고, 다양한 설정에서 비진실 보고보다 진실 보고가 더 높은 보상을 얻는다는 것을 증명한다.

ABSTRACT

Information elicitation mechanisms, such as Peer Prediction [Miller 2005] and Bayesian Truth Serum [Prelec 2004], are designed to reward agents for honestly reporting their private information, even when this cannot be directly verified. Information elicitation mechanisms, such as these, are cleverly designed so that truth-telling is a strict Bayesian Nash Equilibrium. However, a key challenge that has arisen is that there are typically many other non-truthful equilibrium as well, and it is important that truth-telling not only be an equilibrium, but be paid more than other equilibrium so that agents do not coordinate on a non-informative equilibria. Several past works have overcome this challenge in various setting using clever techniques, but a new technique was required for each new setting. Our main contribution in this paper is providing a framework for designing elicitation mechanisms where truth-telling is the highest paid equilibrium, even when the mechanism does not know the common prior. We define monotone functions which can measure the amount of information contained in agents' reports such that the function is greater in the truthful equilibrium than in non-truthful equilibria. We provide several interesting monotone functions ( f -disagreement, f-mutual information, f -information gain) in different settings. Aided by these theoretical tools, we (1) extend Dasgupta and Ghosh[2013]'s mechanism to the non-binary setting with an additional assumption that agents are asked to answer a large number of a priori similar questions; (2) reprove the main results of Prelec[2004], Dasgupta and Ghosh[2013] and a weaker version of Kong and Schoenebeck[2016] in our framework. Our framework thus provides both new mechanisms and a deeper understanding of prior results.

연구 동기 및 목표

• 진술이 엄밀한 베이지안 나시 균형임에도 불구하고 정보 수집 메커니즘에서 종종 가장 높은 보상을 받는 균형이 되지 않는 문제를 해결하기 위해.
• 에이전트들의 공통 사전 확률에 대한 지식 없이도 진술이 다른 균형보다 지배적인 결과를 낳도록 하는 통합된 프레임워크를 설계하기 위해.
• 이전 메커니즘을 이진 설정 외의 상황으로 일반화하고 기존 결과에 대한 더 깊은 이론적 이해를 제공하기 위해.
• 보고된 정보의 양을 수량화하는 단조 증가 함수를 개발하여, 진실된 보고가 비진실 보고보다 더 높은 보상을 얻도록 보장하기 위해.

제안 방법

• 에이전트의 보고에서 정보의 양을 측정하고, 진실 보고에서 더 높은 값을 가질 수 있도록 보장하는 단조 증가 함수인 f-불일치, f-상호정보량, f-정보량 증가를 정의한다.
• 이러한 단조 증가 함수를 사용하여, 진술이 진실일 경우 비진실 균형보다 더 높은 기대 보상을 얻는 메커니즘을 구축한다.
• 대규모의 사전 유사 질문이 존재하는 조건 하에 Dasgupta와 Ghosh(2013)의 메커니즘을 이진 설정 외의 상황으로 확장한다.
• Prelec(2004), Dasgupta와 Ghosh(2013), 그리고 Kong와 Schoenebeck(2016)의 더 약한 형태의 결과를 제안된 프레임워크 내에서 재증명한다.
• 공통 사전 확률이 알려져 있지 않은 상황에서도 진술이 균형이 되는 것뿐만 아니라 가장 수익성이 높은 균형이 되도록 보장하는 이론적 조건을 수립한다.
• 정보 측정법의 단조 증가성을 활용하여 다양한 정보 구조와 에이전트의 신뢰도에 대해 강건한 성능을 보장한다.

실험 결과

연구 질문

• RQ1 공통 사전 확률에 대한 지식 없이도 진술이 균형이 되고, 더 높은 보상을 얻는 균형이 되도록 정보 수집 메커니즘을 어떻게 설계할 수 있는가?
• RQ2 정보 측정법이 비진실 보고 균형보다 진실 보고 균형이 지배하도록 하기 위해 가져야 할 수학적 성질은 무엇인가?
• RQ3 이 프레임워크를 사용하여 이진 메커니즘을 충분한 질문 반복 조건 하에 비이진 설정으로 확장할 수 있는가?
• RQ4 제안된 단조 증가 함수인 f-불일치, f-상호정보량, f-정보량 증가가 비진실 보고와 진실 보고를 구분하는 데 얼마나 효과적인가?
• RQ5 베이지안 진실 서류와 피어 예측과 같은 기존 메커니즘을 이 통합 이론적 프레임워크를 통해 재해석하고 재증명할 수 있는가?

주요 결과

• 단조 증가 함수를 구성함으로써 진술이 가장 높은 보상이 되는 균형이 되도록 보장하는 프레임워크가 성공적으로 작동하며, 이는 진실 보고에서 더 높은 정보량을 부여하기 때문이다.
• 제안된 단조 증가 함수인 f-불일치, f-상호정보량, f-정보량 증가는 다양한 설정에서 효과적이며, 진실 보고를 보상하는 메커니즘 설계에 사용될 수 있다.
• 이 프레임워크를 통해 Dasgupta와 Ghosh(2013)의 메커니즘을 대규모 유사 질문이 존재하는 조건 하에 비이진 설정으로 확장할 수 있다.
• Prelec(2004), Dasgupta와 Ghosh(2013), 그리고 Kong와 Schoenebeck(2016)의 더 약한 형태의 결과들이 제안된 프레임워크 내에서 재증명되었으며, 새로운 이론적 통찰을 제공한다.
• 공통 사전 확률이 알려져 있지 않은 상황에서도 진술이 비정보성 균형보다 지배적인 결과를 낳는 메커니즘 설계를 위한 일반적인 방법을 제공한다.
• 정보 측정법의 단조 증가성을 활용함으로써 진실에서의 이탈이 더 높은 보상을 가져오지 못하게 하여, 비진실 균형으로의 협력 조정을 방지한다.