[논문 리뷰] A Cost-Effective Framework for Preference Elicitation and Aggregation

Zhibing Zhao, Haoming Li외 5명|arXiv (Cornell University)|2018. 05. 14.

Mobile Crowdsensing and Crowdsourcing참고 문헌 25인용 수 14

한 줄 요약

이 논문은 비용 인식 질문 선택을 통해 정보 수익 당 비용을 최소화하는 플래켓-루크 모델에 특징을 통합한 비용 효율적인 프레임워크를 제안한다. 최소 쌍별 확신도(MPC) 정보 기준을 도입하여, 예산 제약 하에서 더 적은 질문 수로 승자 분포 추정의 총 차이를 현저히 낮추며 랜덤 질의보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a cost-effective framework for preference elicitation and aggregation under the Plackett-Luce model with features. Given a budget, our framework iteratively computes the most cost-effective elicitation questions in order to help the agents make a better group decision. We illustrate the viability of the framework with experiments on Amazon Mechanical Turk, which we use to estimate the cost of answering different types of elicitation questions. We compare the prediction accuracy of our framework when adopting various information criteria that evaluate the expected information gain from a question. Our experiments show carefully designed information criteria are much more efficient, i.e., they arrive at the correct answer using fewer queries, than randomly asking questions given the budget constraint.

연구 동기 및 목표

• 크기 때문에 전체 선호도 확보가 불가능한 상황에서 자원이 제한된 조건에서 에이전트로부터 선호도를 효율적으로 확보하는 문제를 해결하기 위해.
• 랜덤화된 투표 규칙, 랭킹 모델, 정보 기준을 통합하는 유연한 프레임워크를 개발하기 위해.
• 비결정론적 선호도를 특징이 있는 플래켓-루크 모델을 사용해 모델링하여 확률적 승자 분포를 가능하게 하기 위해.
• 가장 비용 효율적인 확보 질문을 선택하기 위한 정보 기준을 평가하고 비교하기 위해.
• 실제 질문 비용을 추정하기 위해 아마존 메카니컬 투르 실험을 통해 프레임워크를 경험적으로 검증하기 위해.

제안 방법

• 각 단계에서 정보 기준에 따라 예상 정보 수익 당 비용을 측정하여 가장 비용 효율적인 질문을 선택하는 반복적 프로세스를 사용한다.
• 에이전트의 선호도를 특징이 있는 플래켓-루크 모델로 모델링하여 대안에 대한 확률적 스코어링을 가능하게 한다.
• 각 응답 이후 모델 파라미터의 사후분포를 갱신하고, 다음 반복의 사전분포로 사용한다.
• 랜덤화된 투표 규칙을 사용하여 승자 분포를 계산하며, 이론적으로 승자 확률이 모든 에이전트의 총 예상 스코어에 비례한다는 보장이 있다.
• 가장 불확실한 쌍별 비교에서의 향상도를 최대화하기 위해 최소 쌍별 확신도(MPC) 기준을 제안한다. 이는 이전 연구를 확장한 것이다.
• 정보 기준(D-최적성, E-최적성, MPC, 랜덤)은 복합 마진 분포를 통한 사후분포의 渐近 다변량 정규 근사에 기반하여 평가된다.

실험 결과

연구 질문

• RQ1 예산 제약 하에서 예측 정확도를 유지하면서 질문 수를 최소화하기 위해 가장 비용 효율적인 확보 질문을 어떻게 선택할 수 있는가?
• RQ2 예산 제약 하에서 MPC, D-최적성, E-최적성 등의 다양한 정보 기준은 질문 효율성과 정확도 측면에서 어떻게 비교될 수 있는가?
• RQ3 일반적인 그룹을 사용해 핵심 그룹 선호도를 추론함으로써 얼마나 많은 확보 비용 절감이 가능할 수 있으며, 정확도는 유지되는가?
• RQ4 제안된 프레임워크는 플래켓-루크 모델 하에서 확률적 투표 규칙을 사용해 승자 분포를 효과적으로 추정할 수 있는가?
• RQ5 예를 들어 쌍별, 최우선 선택, 전체 랭킹과 같은 다양한 질문 유형의 비용은 선호도 확보의 총 효율성에 어떻게 영향을 미치는가?

주요 결과

• 확률적 다수결 및 복수의 Borda 규칙 모두에서 MPC 기준은 $0.85의 예산에서 랜덤 확보보다 총 차이를 15% 낮춘다.
• 총 차이가 0.064가 되기 위해 확률적 다수결에서는 MPC가 랜덤 확보보다 20% 적은 비용을 사용했고, 확률적 Borda에서는 23.5% 적은 비용을 사용했다.
• D-최적성은 항상 전체 랭킹 질문을 가장 비용 효율적인 질문으로 선택했지만, MPC는 초기 단계에서 쌍별 비교보다 전체 랭킹을 선호했다.
• E-최적성은 MPC와 유사한 질문 선택 패턴을 보였고, 모든 비랜덤 기준은 낮은 비용을 가진 '최우선 선택' 질문(k=1,l=10)을 피했다.
• 프레임워크는 아마존 메카니컬 투르에서의 실세계 비용 추정을 통해 실현 가능성을 입증했으며, 전체 랭킹은 비용이 많이 들지만 높은 정보 수익을 제공한다는 점을 보였다.
• 각 반복 단계에서 갱신된 사후 파라미터 추정치는 정확한 승자 분포 계산을 가능하게 하여, 프레임워크 내에서 랜덤화된 투표 규칙의 사용을 검증했다.