[논문 리뷰] Finish Them!: Pricing Algorithms for Human Computation

Yihan Gao, Aditya Parameswaran|arXiv (Cornell University)|2014. 08. 27.

Mobile Crowdsensing and Crowdsourcing참고 문헌 31인용 수 8

한 줄 요약

이 논문은 인적 컴퓨팅 작업의 동적 가격 설정 알고리즘을 제안하며, 마코프 결정 과정(MDP)과 선형 프로그래밍을 사용하여 사전 정해진 마감일 하에서 비용을 최소화하거나 예산 제약 하에서 지연을 최소화한다. 정적 가격 설정 전략 대비 최대 30%의 비용 절감을 달성하면서도 추정 오차에 대해 강건함을 유지한다.

ABSTRACT

Given a batch of human computation tasks, a commonly ignored aspect is how the price (i.e., the reward paid to human workers) of these tasks must be set or varied in order to meet latency or cost constraints. Often, the price is set up-front and not modified, leading to either a much higher monetary cost than needed (if the price is set too high), or to a much larger latency than expected (if the price is set too low). Leveraging a pricing model from prior work, we develop algorithms to optimally set and then vary price over time in order to meet a (a) user-specified deadline while minimizing total monetary cost (b) user-specified monetary budget constraint while minimizing total elapsed time. We leverage techniques from decision theory (specifically, Markov Decision Processes) for both these problems, and demonstrate that our techniques lead to upto 30\% reduction in cost over schemes proposed in prior work. Furthermore, we develop techniques to speed-up the computation, enabling users to leverage the price setting algorithms on-the-fly.

연구 동기 및 목표

• 인적 컴퓨팅에서 비용과 지연을 균형 잡는 체계적인 가격 전략이 부족한 문제를 해결하기 위해.
• 사용자가 지정한 마감일을 충족하면서 총 금전적 비용을 최소화할 수 있도록 시간에 따라 가격을 동적으로 조정하는 알고리즘을 개발하기 위해.
• 고정된 금전적 예산 제약 하에서 총 작업 완료 시간을 최소화할 수 있도록 가격 전략을 설계하기 위해.
• 가격 결정이 작업 실행 중 실시간으로 이루어질 수 있도록 계산 효율성을 확보하기 위해.
• 시장 역학 및 작업 파rameter의 추정치가 불완전할 경우에도 알고리즘의 강건성을 평가하기 위해.

제안 방법

• 고정된 마감일 하에서 비용을 최소화하기 위해 작업 가격 설정을 마코프 결정 과정(MDP)으로 수식화하며, 작업 완료율을 비균일한 포아송 과정으로 모델링한다.
• 결정 이론 기법을 사용하여 실시간 작업 수용률과 남은 시간에 적응하는 최적의 가격 경로를 계산한다.
• 고정된 예산 제약 하에서 지연을 최소화하기 위해 이중 문제를 해결하기 위해 선형 프로그래밍을 적용하며, 작업 완료 동역학이 사전에 알려져 있다고 가정한다.
• 상태 집합화와 값 함수 근사와 같은 계산 최적화 기법을 도입하여 MDP 기반 가격 결정의 복잡도를 감소시킨다.
• 이전 연구에서 비균일한 포아송 과정을 통해 작업 완료 지연을 모델링한 바를 활용하여 가격 반응 동역학을 안내한다.
• 비타당하지 않은 가격 경로의 제거 및 점진적 재계산과 같은 가속 기법을 도입하여 실시간 가격 조정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간에 따라 동적 가격 조정이 엄격한 마감일을 충족하면서도 인적 컴퓨팅 워크로드에서 금전적 비용을 줄일 수 있는가?
• RQ2 실제 시장 환경에서의 워크로드를 고려할 때, 동적 가격 설정은 정적 가격 설정 대비 비용과 지연 측면에서 어떻게 비교되는가?
• RQ3 고정된 금전적 예산 하에서 가격 전략을 최적화하여 총 작업 완료 시간을 최소화할 수 있는가?
• RQ4 제안된 가격 설정 알고리즘이 작업 완료율 및 시장 역학에 대한 추정 오류에 얼마나 강건한가?
• RQ5 실시간으로 구동 가능한 생산용 캐스트싱크 플랫폼에 적용하기 위해 필요한 계산 최적화는 무엇인가?

주요 결과

• 제안된 MDP 기반 동적 가격 설정 알고리즘은 실제 캐스트싱크 데이터 기반으로 이전의 정적 가격 설정 방식 대비 총 비용을 최대 30%까지 절감한다.
• 이 알고리즘은 이전 연구에서 제안한 기반 이진 탐색 기반 가격 설정 전략보다 뚜렷하게 뛰어나며, 특히 고위험·시간 민감도가 높은 워크로드에서 두각을 나타낸다.
• 예산 제약 상황에서는 선형 프로그래밍 기반 접근이 거의 최적의 지연 감소를 달성하여, 비용 제한이 있는 상황에서도 동적 가격 설정의 효과성을 입증한다.
• 작업 완료율 및 시장 파rameter의 추정 오차에 대해 알고리즘이 강건하여 다양한 수준의 불확실성 하에서도 뛰어난 성능을 유지한다.
• 계산 최적화 기법 덕분에 실시간 가격 결정이 가능해져, 실시간으로 운영되는 생산용 캐스트싱크 플랫폼에 적합한 시스템이 되었다.
• 실제 시장에서의 실시간 실험 결과는 시뮬레이션 결과를 확인하며 동적 가격 설정의 실용성과 비용 절감 효과를 검증한다.