[논문 리뷰] An Information Theoretic Framework For Designing Information Elicitation Mechanisms That Reward Truth-telling

Yuqing Kong, Grant Schoenebeck|arXiv (Cornell University)|2016. 05. 03.

Mobile Crowdsensing and Crowdsourcing참고 문헌 26인용 수 12

한 줄 요약

이 논문은 상호정보량을 보상 척도로 사용하여 진실성 있고 세부 정보 없이 최소한의 정보를 채굴하는 메커니즘을 설계하는 정보이론적 프레임워크인 상호정보량 원리(Mutual Information Paradigm)를 제안한다. 주요 기여는 진실성 있는 전략이 항상 지배 전략이 되며, 임의의 동료 전략에 대해서도 비진실 전략을 엄격히 열등하게 만드는 메커니즘의 가족—f-상호정보량과 브레그만 상호정보량—을 제시하는 것이다.

ABSTRACT

In the setting where information cannot be verified, we propose a simple yet powerful information theoretical framework---the Mutual Information Paradigm---for information elicitation mechanisms. Our framework pays every agent a measure of mutual information between her signal and a peer's signal. We require that the mutual information measurement has the key property that any "data processing" on the two random variables will decrease the mutual information between them. We identify such information measures that generalize Shannon mutual information. Our Mutual Information Paradigm overcomes the two main challenges in information elicitation without verification: (1) how to incentivize effort and avoid agents colluding to report random or identical responses (2) how to motivate agents who believe they are in the minority to report truthfully. Aided by the information measures we found, (1) we use the paradigm to design a family of novel mechanisms where truth-telling is a dominant strategy and any other strategy will decrease every agent's expected payment (in the multi-question, detail free, minimal setting where the number of questions is large); (2) we show the versatility of our framework by providing a unified theoretical understanding of existing mechanisms---Peer Prediction [Miller 2005], Bayesian Truth Serum [Prelec 2004], and Dasgupta and Ghosh [2013]---by mapping them into our framework such that theoretical results of those existing mechanisms can be reconstructed easily. We also give an impossibility result which illustrates, in a certain sense, the the optimality of our framework.

연구 동기 및 목표

• 검증 가능한 기준값이 없는 상황에서 진실된 보고를 유도하는 문제를 해결하기 위해.
• 공모(예: 동일하거나 무작위 응답을 보고하는 것)를 방지하고 소수 보고자를 진실된 전략으로 이끌기 위한 이중 과제를 해결하기 위해.
• 진실성 있고 중심적이며 세부 정보 없고 최소한의 정보를 요구하며 지배 전략으로서의 진실성 보장이 가능한 메커니즘을 설계하기 위해—베이지안 내쉬 균형보다 더 강력한 균형 보장을 제공하기 위해.
• 기존 메커니즘(예: 페어 프레디션, 베이지안 트루스 세럼)을 하나의 정보이론적 프레임워크 안에서 통합하고 재해석하기 위해.
• 최소한의 가정 하에서 불가능성 결과를 통해 프레임워크의 이론적 최적성을 확립하기 위해.

제안 방법

• 개인의 사전 신호와 동료의 신호 간의 상호정보량을 기반으로 보상을 지급하는 상호정보량 원리(Mutual Information Paradigm)를 제안한다.
• 샤논 상호정보량을 일반화하는 두 가지 정보 측정 체계—f-상호정보량과 브레그만 상호정보량—을 식별하며, 이들은 데이터 처리 부등식을 만족한다.
• 데이터 처리 부등식을 활용하여 비진실 전략이 상호정보량을 감소시키므로 기대 보상도 감소함을 보장한다.
• 다중질문 및 단일질문 설정에서 지배 전략으로서의 진실성 보장이 가능한 새로운 메커니즘을 설계하기 위해 프레임워크를 적용한다.
• 단일질문 설정에서 로그 스코링 규칙이 샤논 상호정보량의 비편향 추정량임을 입증한다.
• 서로 구분 불가능한 시나리오와 커플링 추론을 활용하여 불가능성 결과를 증명하며, 대칭 사전 확률과 순열 불변성 하에서 프레임워크의 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 일반적인 정보이론적 프레임워크를 구축하여 진실성 있고 세부 정보 없이 최소한의 정보를 채굴하는 메커니즘을 설계할 수 있는가?
• RQ2 상호정보량을 어떻게 일반화할 수 있을까? 비진실 전략이 항상 기대 보상을 감소시키도록 보장하기 위해.
• RQ3 페어 프레디션과 베이지안 트루스 세럼과 같은 기존 메커니즘들을 이 프레임워크를 통해 통합하고 재해석할 수 있는가?
• RQ4 진실성 보장이 단지 베이지안 내쉬 균형이 아니라 지배 전략이 되는 메커니즘을 설계할 수 있는가?
• RQ5 대칭 사전 확률과 순열 불변성 하에서, 진실성 있고 세부 정보 없는 메커니즘의 근본적인 제약 조건은 무엇인가?

주요 결과

• 질문 수가 많아질수록 f-상호정보량 및 브레그만 상호정보량 메커니즘은 다중질문 설정에서 진실성 보장이 지배 전략이 된다.
• f-상호정보량 메커니즘에서는 다른 에이전트의 전략과 관계없이 진실성 없는 행동을 취할 경우 모든 에이전트의 기대 보상이 엄격히 감소하므로 지배성과 중심성(property)을 동시에 확보한다.
• 프레임워크는 기존 메커니즘인 페어 프레디션, 베이지안 트루스 세럼, Dasgupta와 Ghosh(2013)를 모두 상호정보량 원리에 매핑함으로써 성공적으로 재구성하고 통합한다.
• 단일질문 설정에서 로그 스코링 규칙이 샤논 상호정보량의 비편향 추정량임을 입증한다.
• 불가능성 결과를 통해 대칭 설정에서 어떤 진실성 있고 세부 정보 없는 메커니즘도 데이터 처리 부등식을 활용하지 않는 한 순열 전략을 엄격히 능가할 수 없다는 것을 증명함으로써, 제안된 프레임워크의 최적성을 강조한다.
• 대칭 사전 확률을 가정할 때, 노력 비용이 존재하는 설정에서 진실성 보장이 모든 비순열 전략보다 엄격히 우월함을 프레임워크가 입증한다.