[논문 리뷰] A Collaborative Mechanism for Crowdsourcing Prediction Problems

Jacob Abernethy, Rafael Frongillo|arXiv (Cornell University)|2011. 11. 11.

Sports Analytics and Performance참고 문헌 11인용 수 34

한 줄 요약

이 논문은 공동 가설을 개선하기 위해 업데이트에 베팅하는 방식으로 참가자를 유도하는 협업 예측 시장 프레임워크인 커스터마이즈드 러닝 메커니즘(CLM)을 제안한다. 테스트 세트에서의 성능 향상과 수익을 일치시킴으로써 진정성 있고 점진적인 개선을 보장하면서도 지속적이고 투명한 협업을 가능하게 하여, 기존의 승자독식 예측 경쟁에 비해 더 효율적이고 인센티브 호환성이 높은 대안을 제공한다.

ABSTRACT

Machine Learning competitions such as the Netflix Prize have proven reasonably successful as a method of "crowdsourcing" prediction tasks. But these competitions have a number of weaknesses, particularly in the incentive structure they create for the participants. We propose a new approach, called a Crowdsourced Learning Mechanism, in which participants collaboratively "learn" a hypothesis for a given prediction task. The approach draws heavily from the concept of a prediction market, where traders bet on the likelihood of a future event. In our framework, the mechanism continues to publish the current hypothesis, and participants can modify this hypothesis by wagering on an update. The critical incentive property is that a participant will profit an amount that scales according to how much her update improves performance on a released test set.

연구 동기 및 목표

• 기존 예측 경쟁의 한계, 즉 승자독식 인센티브와 협업에 반하는 구조를 해결하기 위해.
• 개별적으로 비공개된 알고리즘 개선을 위한 것이 아니라, 공유된 가설에 대한 지속적이고 진정성 있는 기여를 유도하는 메커니즘을 설계하기 위해.
• 예측 시장과 스코링 룰의 원리를 활용하여 공동 가설의 정교화를 가능하게 하기 위해.
• 참가자가 실제로 보류된 테스트 세트에서 기여한 개선 정도에 비례해 수익을 얻도록 보장하기 위해.
• 기계학습 예측 문제를 분산된 공동 지능을 통해 해결하기 위한 계산 가능하고 확장 가능하며 인센티브 호환성 있는 프레임워크를 제공하기 위해.

제안 방법

• 메커니즘은 현재의 가설 벡터 w를 유지하고 참가자가 w에 대한 업데이트 w′에 베팅할 수 있도록 허용한다.
• 각 참가자의 수익은 수익 함수에 의해 결정되며, Payout(w, w′; X) = Cost(w, w′) + L(w; X) - L(w′; X)로 정의되며, 여기서 L은 테스트 세트 X에서의 손실이다.
• 비용 함수는 Cost(w, w′) = 2α‖w − w′‖₂로 정의되어 있으며, 이는 에스코로 프로퍼티를 보장하고 손실 함수의 리프시츠 연속성을 확보하기 위함이다.
• 프레임워크는 개별 예측에 대해 분해 가능한 일반화된 스코링 룰(GSR)을 사용하여, 테스트 데이터의 부분 집합에 대해 온라인 수익 지급을 가능하게 한다.
• 참가자는 예산 제약 조건 하에 기대 수익을 최대화하기 위해 볼록 최적화 문제를 해결함으로써 계산 가능성을 확보한다(TT 성질).
• 메커니즘은 라벨가 고정된 테스트 데이터의 부분 집합에 대해 간격을 두고 소수의 수익 지급을 수행함으로써 온라인 운영을 지원하며, 이는 인센티브 일치성을 유지하면서 실시간 피드백을 가능하게 한다.

실험 결과

연구 질문

• RQ1 예측 시장 프레임워크를 기계학습 가설 학습에 쓰일 수 있도록 커스터마이즈드 방식으로 적응시킬 수 있는가? 이때 성능 향상과 인센티브가 일치하는가?
• RQ2 기존 예측 경쟁에서 흔히 볼 수 있는 협업에 반하는 행동을 방지할 수 있는 협업 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 참가자가 현재 가설을 진정성 있게 보고하고 개선할 수 있도록 보장하는 조건는 무엇인가? 시스템을 악용하는 것을 방지할 수 있는가?
• RQ4 강력한 인센티브 성질을 유지하면서도 계산 가능성이 확보된 메커니즘을 어떻게 만들 수 있는가?
• RQ5 인센티브 호환성이나 성능 평가를 훼손하지 않으면서도 메커니즘에 실시간 피드백을 통합할 수 있는가?

주요 결과

• 제안된 커스터마이즈드 러닝 메커니즘(CLM)은 L-인센티브를 부여하며, 참가자는 자신의 가설 업데이트가 테스트 세트 성능 향상에 기여한 정도에 비례해 수익을 얻는다.
• 메커니즘은 에스코로 프로퍼티(ES)를 만족하여, 어떤 참가자도 초기 베팅보다 더 큰 손실을 입을 수 없으며, 비용 함수는 가설 공간에 대해 리프시츠 연속성을 갖도록 설계되어 있다.
• 메커니즘은 계산 가능하다(TT 성질) — 예산 제약 조건 하에 기대 수익 최대화 문제가 손실 함수와 ℓ₂-노름 비용의 볼록성 덕분에 볼록 최적화 문제로 환원되기 때문이다.
• 메커니즘은 부분 집합의 테스트 데이터에 대해 소수의 수익 지급을 허용함으로써 온라인 운영을 지원하며, 분해 가능한 스코링 룰을 통해 인센티브 일치성을 유지한다.
• 기업은 예측 과제를 분산된 커뮤니티에 위탁할 수 있으며, 작은 레이블이 있는 샘플을 사용해 더 큰 비레이블 데이터 세트에 대한 예측을 검증함으로써 기계학습 전문 지식의 시장을 효과적으로 창출할 수 있다.
• 가설 업데이트를 공개적으로 공개하도록 요구함으로써, 메커니즘은 협업을 촉진하고 기존 경쟁에서 흔히 볼 수 있는 비승자 기여의 낭비를 방지한다.