[논문 리뷰] Whom to Ask? Jury Selection for Decision Making Tasks on Micro-blog Services

Caleb Chen Cao, Jieying She외 2명|arXiv (Cornell University)|2012. 08. 01.

Mobile Crowdsensing and Crowdsourcing참고 문헌 24인용 수 13

한 줄 요약

이 논문은 마이크로블로그 서비스에서 의사결정 작업을 위한 재판원 선정 문제(Jury Selection Problem, JSP)를 제안한다. 목표는 예산 제약 하에 잘못된 답변을 내릴 확률인 재판원 오차율(Jury Error Rate, JER)을 최소화하는 사용자 집합(즉, '재판원')을 선택하는 것이다. JER를 계산하기 위한 효율적인 알고리즘과 인센티브 기반 선택을 위한 그레디스티브 히우리스틱을 제안하며, 합성 및 실제 마이크로블로그 데이터를 기반으로 한 검증에서 높은 정확도와 효율성을 보였다.

ABSTRACT

It is universal to see people obtain knowledge on micro-blog services by asking others decision making questions. In this paper, we study the Jury Selection Problem(JSP) by utilizing crowdsourcing for decision making tasks on micro-blog services. Specifically, the problem is to enroll a subset of crowd under a limited budget, whose aggregated wisdom via Majority Voting scheme has the lowest probability of drawing a wrong answer(Jury Error Rate-JER). Due to various individual error-rates of the crowd, the calculation of JER is non-trivial. Firstly, we explicitly state that JER is the probability when the number of wrong jurors is larger than half of the size of a jury. To avoid the exponentially increasing calculation of JER, we propose two efficient algorithms and an effective bounding technique. Furthermore, we study the Jury Selection Problem on two crowdsourcing models, one is for altruistic users(AltrM) and the other is for incentive-requiring users(PayM) who require extra payment when enrolled into a task. For the AltrM model, we prove the monotonicity of JER on individual error rate and propose an efficient exact algorithm for JSP. For the PayM model, we prove the NP-hardness of JSP on PayM and propose an efficient greedy-based heuristic algorithm. Finally, we conduct a series of experiments to investigate the traits of JSP, and validate the efficiency and effectiveness of our proposed algorithms on both synthetic and real micro-blog data.

연구 동기 및 목표

• 마이크로블로그 네트워크에서 의사결정 질문에 답하기 위해 가장 신뢰할 수 있는 사용자 집합(즉, '재판원')을 선택하는 데 도전하는 것.
• 다수결 투표가 잘못된 답변을 낼 확률로 정의된 재판원 오차율(JER)을 최소화하는 것.
• 조합 폭발로 인한 지수적 복잡도를 피하기 위해 전체 조합을 전수 조사하지 않는 JER 계산을 위한 효율적인 알고리즘을 설계하는 것.
• 이타적 사용자(AltrM)와 인센티브가 필요한 사용자(PayM)라는 두 가지 다른 크라우드소싱 시나리오를 모델링하며, 각각 다른 선택 동역학을 고려하는 것.
• 제안된 알고리즘의 효과성과 효율성을 합성 및 실제 마이크로블로그 데이터 세트에서 다양한 오차율과 예산 제약 조건 하에서 평가하는 것.

제안 방법

• JER를 다수결 투표에서 절반 이상의 재판원 구성원이 잘못된 답변을 제공할 확률로 명시적으로 정의한다.
• 조합 전수 조사 방지를 위해 경계 기법을 사용하여 O(n²) 및 O(n log n) 시간에 JER를 계산하는 두 가지 효율적인 알고리즘을 제안한다.
• AltrM 모델에서 개별 오차율에 대한 JER의 단조성(모노토닉리티)을 증명함으로써 정확한 알고리즘의 효율성을 높이는 데 기여한다.
• 사용자에게 보상이 필요한 PayM 모델을 수립하고, JSP가 PayM에서 NP-완전임을 증명하며, 실용적인 선택을 위한 그레디스티브 히우리스틱을 제안한다.
• 실제 마이크로블로그 데이터(HITS 및 PageRank 기반 등)와 합성 데이터를 사용하여 다양한 오차율과 예산 제약 조건 하에서 알고리즘 성능을 평가한다.
• 집계 기법으로 다수결 투표를 적용하고, 정답 기준과 비교하여 정밀도, 재현율 및 JER를 측정한다.

실험 결과

연구 질문

• RQ1 모든 가능한 재판원 조합을 전수 조사하지 않고도 JER를 효율적으로 계산할 수 있는 방법은 무엇인가?
• RQ2 개별 오차율이 전체 JER에 미치는 영향은 무엇이며, 단조성 성질을 최적화에 활용할 수 있는가?
• RQ3 이타적 사용자(보상 없이 기여하는 자)와 인센티브가 필요한 사용자(보상이 필요한 자) 간의 선택 전략은 어떻게 다를까?
• RQ4 NP-완전임에도 불구하고 PayM 모델에서 그레디스티브 히우리스틱이 근사 최적의 JER를 달성할 수 있는가?
• RQ5 제안된 알고리즘은 실제 마이크로블로그 데이터에서 정답 기준과 비교해 정밀도, 재현율 및 JER 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 JER 계산 알고리즘은 시간 복잡도를 지수적 수준에서 O(n²) 및 O(n log n)으로 감소시켜 대규모 마이크로블로그 네트워크에서의 확장 가능한 평가를 가능하게 한다.
• AltrM 모델에서 JER는 개별 오차율에 대해 단조적으로 증가하므로, JSP를 해결하기 위한 효율적인 정확 알고리즘이 가능해진다.
• PayM 모델은 NP-완전임을 증명하였지만, 제안된 그레디스티브 히우리스틱은 실제 데이터에서 JER가 0.00075로 매우 낮게 유지되어 강력한 실용적 성능을 보였다.
• 실험 결과 HITS 기반 선택은 정밀도와 재현율이 모두 1.0로 완벽했고, PageRank 기반 선택은 낮은 오차율을 가진 사용자를 포함하여 정밀도와 재현율이 다소 낮았지만 여전히 매우 낮은 JER를 달성했다.
• PayALG 히우리스틱이 선택한 재판원 크기가 정답 크기와 매우 유사하게 유지되어 비용과 신뢰성 간의 효과적인 균형을 이룬 것으로 나타났다.
• 결과적으로 제안된 알고리즘이 효율적이고 효과적이며, 예산 제약 조건 하에서 JER를 최소화하는 데 기존 기준 대비 뚜렷이 뛰어난 성능을 발휘함을 검증하였다.