[논문 리뷰] A statistical model for aggregating judgments by incorporating peer predictions

John McCoy, Dražen Prelec|arXiv (Cornell University)|2017. 03. 14.

Bayesian Modeling and Causal Inference참고 문헌 7인용 수 7

한 줄 요약

이 논문은 응답자가 다른 이들의 답변에 대한 예측을 포함시켜 그룹 판단 집계를 향상시키는 확률적 생성 모델을 제안한다. 개인의 판단과 동료 예측을 모두 잠재 세계 상태에 대한 베이지안 추론으로 모델링함으로써, 소수의 답변이 올바를 경우조차도 가장 가능성이 높은 진짜 상태를 추론할 수 있다. 이 모델은 다양한 전문가 판단 과제에서 표준 집계 방법을 뛰어넘는 성능을 보인다.

ABSTRACT

We propose a probabilistic model to aggregate the answers of respondents answering multiple-choice questions. The model does not assume that everyone has access to the same information, and so does not assume that the consensus answer is correct. Instead, it infers the most probable world state, even if only a minority vote for it. Each respondent is modeled as receiving a signal contingent on the actual world state, and as using this signal to both determine their own answer and predict the answers given by others. By incorporating respondent's predictions of others' answers, the model infers latent parameters corresponding to the prior over world states and the probability of different signals being received in all possible world states, including counterfactual ones. Unlike other probabilistic models for aggregation, our model applies to both single and multiple questions, in which case it estimates each respondent's expertise. The model shows good performance, compared to a number of other probabilistic models, on data from seven studies covering different types of expertise.

연구 동기 및 목표

• 공감이 올바르지 않거나 모든 응답자가 동일한 정보에 액세스한다고 가정하지 않고도 그룹 판단을 집계하는 강력한 방법을 개발하는 것.
• 기존 모델이 투표자 능력에 대한 가정을 하고 있으며, 주로 다수결 또는 가중 투표에 의존하는 데서 비롯되는 한계를 해결하는 것, 특히 이진이 아닌 또는 전문가 중심의 도메인에서의 적용을 위한 것.
• 가장 가능성이 높은 세계 상태뿐만 아니라, 여러 질문에 걸쳐 개인 응답자의 전문성까지 추론함으로써 성과 예측이 가능하도록 하는 것.
• 통계적 엄밀성과 해석 가능성 유지 조건에서 다항 선택지 질문으로의 믿음 집계를 확장하는 것.
• 의료 진단, 정책 평가, 예술 작품 가격 설정과 같은 실제 응용 분야에서 정확도를 향상시키기 위해 답변과 다른 이들의 답변에 대한 예측을 모두 활용하는 것.

제안 방법

• 각 응답자가 진짜 세계 상태에 따라 비공개 신호를 수신한 후, 가능한 세계 상태에 대한 사후 확률적 믿음을 형성한다.
• 응답자들이 다른 이들의 답변에 대해 예측하는 것을 생성 모델의 일부로 통합하여, 이들을 잠재 분포의 노이즈 있는 신호로 간주한다.
• 베이지안 추론을 사용하여 잠재 매개변수를 추정한다: 각 세계 상태에 대한 사전 확률과 각 세계 상태 하에서의 신호 가능성, 그리고 반사적 상황까지 포함한다.
• 사후 믿음에서 투표 행동으로 변환하기 위해 소프트맥스 결정 규칙을 적용하여 확률적 답변 선택을 허용한다.
• 다항 및 딜리클레 분포를 사전과 신호 가능성에 사용하여 비이진 질문으로 모델을 확장한다.
• 절단 정규분포 또는 딜리클레 표본 추출을 통한 노이즈 주입을 활용하여 동료 예측의 불확실성을 모델링함으로써, 예측된 답변 분포에 대한 과신을 방지한다.

실험 결과

연구 질문

• RQ1 응답자들이 다른 이들의 답변에 대한 예측을 포함시키는 것이, 공감 또는 신뢰도 가중 평균과 비교해 그룹 수준의 판단 집계 정확도를 향상시킬 수 있는가?
• RQ2 특히 정보 비대칭이 존재하는 전문가 도메인에서 다수의 답변이 잘못되었을 경우, 통계 모델이 진짜 세계 상태를 어떻게 추론할 수 있는가?
• RQ3 지식 기반 또는 이전 성과 데이터 없이도, 모델이 다수의 질문에 걸쳐 개인 응답자의 전문성을 얼마나 정확하게 추정할 수 있는가?
• RQ4 비이진 다항 선택지 질문에서 모델의 성능은 어떠한가? 정확성과 해석 가능성 유지에 필요한 확장은 무엇인가?
• RQ5 조정된 노이즈 매개변수를 통해 거짓 공감 또는 거짓 유일성과 같은 인지 편향을 동료 예측 행동에 반영할 수 있는가?

주요 결과

• 모델은 다수결, 신뢰도 가중 평균, 기타 확률적 모델과 비교해 집계 정확도를 크게 향상시키며, 특히 정답이 소수의 응답자에게만 있는 경우에 두드러진다.
• 공감 답변이 잘못되었을 경우에도 모델은 진짜 세계 상태를 성공적으로 추론하여, 정보 비대칭이 존재하는 '어려운' 환경에서의 강건성을 입증한다.
• 모델은 예술 작품 가격 예측, 피부 병변 진단, 정책 평가 등 다양한 분야의 일곱 개의 연구에서 뛰어난 성능을 보였으며, 단일 질문과 다중 질문 모두에 적용 가능하다.
• 모델이 추론한 응답자 수준의 전문성 매개변수는 개인의 정확도를 예측할 수 있으며, 지식 기반 없이도 뛰어난 전문가를 식별할 수 있도록 한다.
• 옵션의 일관된 순서 없이도 모델은 일관된 성능을 유지하여 실제 응용에서의 유연성을 보여준다.
• 동료 예측을 통합함으로써, 답변만을 사용하는 것보다 모델의 정확도가 향상되어 다른 이들의 답변에 대한 예측적 믿음을 확보하는 가치를 입증한다.