[논문 리뷰] Truthful Data Acquisition via Peer Prediction

Yiling Chen, Yiheng Shen외 1명|arXiv (Cornell University)|2020. 06. 06.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 5

한 줄 요약

이 논문은 테스트 데이터가 가용하지 않을 때 기계학습에서 정직한 데이터 확보를 위한 피어 예측 기반 메커니즘을 제안한다. 제공자들이 다른 이들의 보고와 자신의 보고 간 상호정보를 기반으로 보상을 받도록 함으로써, 정직한 보고가 균형이 되도록 하고, 민감도 보장을 제공하여 매개변수 추정을 왜곡하는 잘못된 보고는 낮은 보상을 얻게 한다.

ABSTRACT

We consider the problem of purchasing data for machine learning or statistical estimation. The data analyst has a budget to purchase datasets from multiple data providers. She does not have any test data that can be used to evaluate the collected data and can assign payments to data providers solely based on the collected datasets. We consider the problem in the standard Bayesian paradigm and in two settings: (1) data are only collected once; (2) data are collected repeatedly and each day's data are drawn independently from the same distribution. For both settings, our mechanisms guarantee that truthfully reporting one's dataset is always an equilibrium by adopting techniques from peer prediction: pay each provider the mutual information between his reported data and other providers' reported data. Depending on the data distribution, the mechanisms can also discourage misreports that would lead to inaccurate predictions. Our mechanisms also guarantee individual rationality and budget feasibility for certain underlying distributions in the first setting and for all distributions in the second setting.

연구 동기 및 목표

• 평가를 위한 테스트 데이터가 없을 때 인centive-compatible 데이터 확보 메커니즘을 설계하기 위해.
• 베이지안 설정에서 데이터 제공자가 정직한 보고를 지배 전략으로 취하도록 보장하기 위해.
• 불확실성 하에서 데이터 확보 시 개인 합리성과 예산 타당성을 유지하기 위해.
• 피어 예측 기법을 기계학습에서 대규모 고차원 데이터 확보에 확장하기 위해.

제안 방법

• 각 데이터 제공자의 보상은 그들의 보고와 다른 제공자들의 보고 간 상호정보에 기반한다.
• 자료 처리 부등식을 활용하여 정직한 보고가 상호정보를 최대화하고, 따라서 보상을 최대화함을 보장한다.
• 지수족 분포의 공액 사전분포를 사용하여 매개변수 불확실성과 사후 믿음을 모델링하기 위해 베이지안 업데이트를 적용한다.
• 잘못된 보고가 매개변수 예측에 영향을 주는 경우 기대 보상이 낮아지도록 보장하는 민감도 조건을 도입한다.
• 데이터 분포의 특성에 따라 의존하는 메커니즘을 구성함으로써 개인 합리성과 예산 타당성을 보장한다.
• 정직한 보고가 균형이 되며, 매개변수 추정을 변화시키는 조작이 공식적인 민감도 분석을 통해 억제됨을 증명한다.

실험 결과

연구 질문

• RQ1 테스트 데이터나 기준 레이블이 없을 때, 정직한 보고를 유도하는 데이터 확보 메커니즘을 설계할 수 있는가?
• RQ2 피어 예측 기반 데이터 확보 메커니즘에서 정직한 보고가 균형이 되는 조건은 무엇인가?
• RQ3 검증이 불가능한 상황에서 잘못된 보고가 매개변수 예측을 잘못되게 하는 것을 어떻게 막을 수 있는가?
• RQ4 이러한 메커니즘에서 개인 합리성과 예산 타당성에 대해 어떤 보장을 달성할 수 있는가?
• RQ5 매개변수 추정에 영향을 주는 조작에 대해 피어 예측 메커니즘의 민감도를 공식적으로 특성화할 수 있는가?

주요 결과

• 단일 스테이지 및 반복적 데이터 확보 환경 모두에서 상호정보 기반 보상 방식을 사용할 경우 정직한 보고가 균형이 보장된다.
• 메커니즘은 민감도를 제공하여, 잘못된 보고가 매개변수 예측을 잘못되게 할 경우 제공자들이 기대 보상을 더 낮게 받는다.
• 반복 설정에서는 모든 데이터 분포에서 개인 합리성과 예산 타당성을 달성하며, 단일 스테이지 설정에서는 특정 분포에서 이를 달성한다.
• 정직한 보고가 상호정보를 변화시키지 않더라도, 기저 매개변수에 대한 사후 믿음을 변화시키는 조작을 억제한다.
• 지수족 모델의 사후 분포를 사용하여 민감도에 대한 공식 조건을 유도하였으며, 이는 보상 손실과 매개변수 추정 오차를 연결한다.
• 베이지안 추론에서 충분통계량과 공액 사전분포를 활용함으로써, 피어 예측 기법을 고차원 데이터 확보로 확장한다.