[논문 리뷰] Adaptive Contract Design for Crowdsourcing Markets: Bandit Algorithms for Repeated Principal-Agent Problems

Chien-Ju Ho, Aleksandrs Slivkins외 1명|arXiv (Cornell University)|2014. 05. 12.

Auction Theory and Applications참고 문헌 48인용 수 6

한 줄 요약

이 논문은 요청자가 시간에 따라 품질 기반 보상을 최적화하는 컨소시엄 마켓에서의 동적 계약 설계를 위한 새로운 적응형 밴딧 알고리즘인 AgnosticZooming을 제안한다. 성능에 기반하여 계약 공간의 이산화를 적응적으로 개선함으로써, 알고리즘은 하위선형의 손실을 달성하고 비적응형 이산화보다 뚜렷이 뛰어난 성능을 보이며, 원인-대리 문제 이론과 동적 가격 설정 이론을 발전시킨다.

ABSTRACT

Crowdsourcing markets have emerged as a popular platform for matching available workers with tasks to complete. The payment for a particular task is typically set by the task's requester, and may be adjusted based on the quality of the completed work, for example, through the use of "bonus" payments. In this paper, we study the requester's problem of dynamically adjusting quality-contingent payments for tasks. We consider a multi-round version of the well-known principal-agent model, whereby in each round a worker makes a strategic choice of the effort level which is not directly observable by the requester. In particular, our formulation significantly generalizes the budget-free online task pricing problems studied in prior work. We treat this problem as a multi-armed bandit problem, with each "arm" representing a potential contract. To cope with the large (and in fact, infinite) number of arms, we propose a new algorithm, AgnosticZooming, which discretizes the contract space into a finite number of regions, effectively treating each region as a single arm. This discretization is adaptively refined, so that more promising regions of the contract space are eventually discretized more finely. We analyze this algorithm, showing that it achieves regret sublinear in the time horizon and substantially improves over non-adaptive discretization (which is the only competing approach in the literature). Our results advance the state of art on several different topics: the theory of crowdsourcing markets, principal-agent problems, multi-armed bandits, and dynamic pricing.

연구 동기 및 목표

• 시간에 따라 품질 기반 보상 설정을 최적화하는 컨소시엄 마켓에서의 동적 계약 설계 문제를 다루기 위해.
• 요청자-작업자 상호작용을 관찰할 수 없는 노력이 수반되는 반복적인 원인-대리 문제로 모델링하기 위해.
• 연속된 계약 공간을 라이프시트 연속성 가정 없이 효율적으로 탐색할 수 있는 알고리즘을 개발하기 위해.
• 시간 영역에 대해 하위선형 손실을 달성하여 비적응형 이산화 방법보다 향상된 성능을 확보하기 위해.
• 예산 제약이 없는 구조를 허용하는 더 풍부한 비-예산 자유 계약 구조를 허용함으로써 이전의 온라인 작업 가격 설정 연구를 일반화하기 위해.

제안 방법

• 문제는 각각 가능한 계약을 나타내는 가산 불가능한 무한한 수의 팔을 가진 다수의 손잡이 밴딧 문제로 공식화된다.
• 성능 피드백에 기반해 성능에 따라 유의미한 영역에 집중하는 유한한 셀로 계약 공간을 이산화하는 새로운 알고리즘인 AgnosticZooming이 제안된다.
• 더 높은 기대 효용을 보이는 영역에서 이산화를 정교화함으로써 계산 자원을 가장 중요한 곳에 집중한다.
• 라이프시트 가정 없이도 인덱스 기반 탐색 전략을 사용하여 셀 간의 탐색과 이용의 균형을 맞춘다.
• 라이프시트 가정 없이도 시간 영역에 대해 하위선형 손실 범위를 유지한다.
• 이론적 분석을 통해 AgnosticZooming이 일반 및 특수 케이스 모두에서 균일한 메쉬링보다 손실 성능을 향상시킴을 확인한다.

실험 결과

연구 질문

• RQ1 연속된 계약 공간을 효율적으로 탐색할 수 있는 밴딧 알고리즘을 동적 원인-대리 문제에 대해 설계할 수 있는가?
• RQ2 비적응형(균일한) 이산화 대비 적응형 이산화가 손실 성능을 어떻게 향상시킬 수 있는가?
• RQ3 라이프시트 연속성 가정을 제거하면 알고리즘 설계와 손실 경계에 어떤 영향을 미치는가?
• RQ4 유한한 후보 계약 집합을 사용해 최적의 계약을 어느 정도 근사로 구현할 수 있는가?
• RQ5 작업자 유형과 노력 선택의 구조가 동적 계약 설계의 성능에 어떤 영향을 미치는가?

주요 결과

• AgnosticZooming 알고리즘은 시간 영역에 대해 하위선형 손실을 달성하여, 연속된 계약 공간에서도 효율적인 학습이 가능함을 증명한다.
• 특히 최적 계약이 공간의 작은 복잡한 영역에 위치한 설정에서는 비적응형 이산화보다 뚜렷이 뛰어난 성능을 보인다.
• 이론적 분석을 통해 라이프시트 가정 없이도 적응형 정밀화가 균일한 메쉬링 대비 손실을 감소시킴을 확인한다.
• 논문은 단조성 계약이 최적일 수 없음을 규명하며, 일부 상황에서는 비단조성 계약 설계가 필요함을 강조한다.
• 손실 경계는 다양한 특수 케이스, 예를 들어 작업자 유형의 혼합 및 매개변수 분포에 대해 강건하고 일반화 가능하다.
• 이 연구는 하한 경계에 대한 동적 계약 설계 연구 및 예산 제약이 있는 밴딧 모델과의 통합 등 새로운 연구 방향을 열어 놓는다.