[논문 리뷰] Inference Aided Reinforcement Learning for Incentive Mechanism Design in Crowdsourcing

Zehong Hu, Yitao Liang외 3명|arXiv (Cornell University)|2018. 01. 01.

Mobile Crowdsensing and Crowdsourcing인용 수 11

한 줄 요약

이 논문은 작업자 행동에 대한 사전 지식 없이 동적으로 보상을 설정하는 강화학습 기반의 인센티브 메커니즘을 제안한다. 실시간 작업자 전략 추론을 위해 기브스 샘플링을 결합하고, 새로운 강화 인센티브 학습(RIL) 프레임워크를 도입함으로써, 이론적으로나 실시간으로도 합리적인 작업자로부터 고품질의 레이블링을 보장한다. 기존 정적 메커니즘에 비해 강인성과 분산 감소 측면에서 뛰어나다.

ABSTRACT

Incentive mechanisms for crowdsourcing are designed to incentivize financially self-interested workers to generate and report high-quality labels. Existing mechanisms are often developed as one-shot static solutions, assuming a certain level of knowledge about worker models (expertise levels, costs for exerting efforts, etc.). In this paper, we propose a novel inference aided reinforcement mechanism that acquires data sequentially and requires no such prior assumptions. Specifically, we first design a Gibbs sampling augmented Bayesian inference algorithm to estimate workers' labeling strategies from the collected labels at each step. Then we propose a reinforcement incentive learning (RIL) method, building on top of the above estimates, to uncover how workers respond to different payments. RIL dynamically determines the payment without accessing any ground-truth labels. We theoretically prove that RIL is able to incentivize rational workers to provide high-quality labels both at each step and in the long run. Empirical results show that our mechanism performs consistently well under both rational and non-fully rational (adaptive learning) worker models. Besides, the payments offered by RIL are more robust and have lower variances compared to existing one-shot mechanisms.

연구 동기 및 목표

• 기존의 단일 스텝 인센티브 메커니즘이 작업자 전문성과 비용에 대해 강한 가정에 의존하는 한계를 해결하기 위해.
• 관측된 레이블링 행동에 기반해 실시간으로 보상을 동적으로 조정하는 동적 인센티브 메커니즘을 설계하기 위해.
• 참값 레이블이나 작업자 모델에 대한 사전 지식 없이도 합리적인 작업자로부터 고품질의 레이블 생성을 가능하게 하기 위해.
• 적응 학습을 통한 실시간 및 장기적 인센티브를 보장하기 위해 적응 학습과 추론을 통한 학습을 통해 고성능 기여를 유도하기 위해.
• 기존 정적 메커니즘에 비해 보다 강인하고 보상 분산을 줄이는 데 기여하기 위해.

제안 방법

• 각 단계에서 관측된 레이블로부터 작업자 레이블링 전략을 추론하기 위해 기브스 샘플링을 활용하여 잠재적 행동과 반응 패턴을 추정한다.
• 유추된 작업자 전략을 강화학습 프레임워크에 통합하여 다양한 보상 수준에 대한 작업자 반응을 모델링한다.
• 유추된 작업자 반응에 기반해 최적의 보상을 동적으로 결정하는 강화 인센티브 학습(RIL) 알고리즘을 개발한다.
• 참값 레이블에 접근할 수 없더라도 유추된 작업자 전략을 활용해 보상 정책을 시뮬레이션하고 최적화한다.
• 예상 레이블 품질을 최대화하면서 예산 제약과 인센티브 호환성 조건을 유지하는 학습 목표를 설정한다.
• 형식적 증명을 통해 이론적으로 인센티브 호환 균형으로 수렴함을 보장하여 단기 및 장기적 효과를 입증한다.

실험 결과

연구 질문

• RQ1 작업자 행동에 대한 사전 가정 없이도 고품질 레이블을 유도할 수 있는 동적 인센티브 메커니즘을 설계할 수 있는가?
• RQ2 관측된 레이블로부터 실시간으로 작업자 레이블링 전략을 정확하게 추론할 수 있는가?
• RQ3 참값 레이블이 없이도 강화학습을 통해 최적의 보상을 결정하는 데 얼마나 효과적으로 활용할 수 있는가?
• RQ4 제안된 메커니즘은 다수의 상호작용 라운드 동안 합리적인 작업자에게 강력한 인센티브를 유지하는가?
• RQ5 RIL 메커니즘의 성능은 기존 정적 메커니즘과 비교해 강인성과 보상의 분산 측면에서 어떻게 다른가?

주요 결과

• 이론적 분석을 통해 제안된 RIL 메커니즘이 단기 및 장기적으로 합리적인 작업자에게 고품질의 레이블링을 성공적으로 유도함을 입증하였다.
• 실험적 평가 결과, 합리적일 뿐 아니라 비완전히 합리적(적응 학습)인 작업자 모델 모두에서 일관된 성능을 보였다.
• 기존의 단일 스텝 메커니즘 대비 RIL가 생성한 보상의 분산이 크게 낮아 안정성이 뛰어나다는 점을 확인하였다.
• 참값 레이블에 접근하지 않고도 관측된 레이블링 패턴과 유추된 전략에만 기반해 작동한다.
• 기브스 샘플링 기반 추론 구성요소가 작업자 행동을 효과적으로 포착하여 보상 변화에 대한 반응을 정확하게 예측할 수 있었다.
• 특히 불확실하거나 변화하는 작업자 특성이 존재하는 환경에서 정적 메커니즘에 비해 강인성을 뛰어나게 했다.