[論文レビュー] Whom to Ask? Jury Selection for Decision Making Tasks on Micro-blog Services

Caleb Chen Cao, Jieying She+2 more|arXiv (Cornell University)|Aug 1, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 24被引用数 13

ひとこと要約

本稿は、マイクロブログサービスにおける意思決定タスクのためのジャッジ選定問題（JSP）を提案する。目的は、コスト制約下でのユーザーの部分集合（「ジャッジ」）を選定し、過半数投票が誤った答えを導く確率（ジャッジ誤差率：JER）を最小化することである。JERの計算に効率的なアルゴリズムを導入し、インcentiveに基づく選定のためのグリーディヒューリスティックを提案。合成データおよび実際のマイクロブログデータを用いた実験で、精度と効率性に優れた性能を示した。

ABSTRACT

It is universal to see people obtain knowledge on micro-blog services by asking others decision making questions. In this paper, we study the Jury Selection Problem(JSP) by utilizing crowdsourcing for decision making tasks on micro-blog services. Specifically, the problem is to enroll a subset of crowd under a limited budget, whose aggregated wisdom via Majority Voting scheme has the lowest probability of drawing a wrong answer(Jury Error Rate-JER). Due to various individual error-rates of the crowd, the calculation of JER is non-trivial. Firstly, we explicitly state that JER is the probability when the number of wrong jurors is larger than half of the size of a jury. To avoid the exponentially increasing calculation of JER, we propose two efficient algorithms and an effective bounding technique. Furthermore, we study the Jury Selection Problem on two crowdsourcing models, one is for altruistic users(AltrM) and the other is for incentive-requiring users(PayM) who require extra payment when enrolled into a task. For the AltrM model, we prove the monotonicity of JER on individual error rate and propose an efficient exact algorithm for JSP. For the PayM model, we prove the NP-hardness of JSP on PayM and propose an efficient greedy-based heuristic algorithm. Finally, we conduct a series of experiments to investigate the traits of JSP, and validate the efficiency and effectiveness of our proposed algorithms on both synthetic and real micro-blog data.

研究の動機と目的

• マイクロブログネットワークから意思決定質問に回答するための最も信頼性の高いユーザーの部分集合（「ジャッジ」）を選定する課題に対処すること。
• 過半数投票によって誤った答えが導かれる確率として定義されるジャッジ誤差率（JER）を最小化すること。
• 組み合わせ的爆発による全組み合わせの列挙を避けるために、JERの計算に効率的なアルゴリズムを設計すること。
• 利他的ユーザー（AltrM）と報酬を要するユーザー（PayM）という2つの異なるクラウドソーシング状況をモデル化し、それぞれ異なる選定ダイナミクスを持つこと。
• 提案されたアルゴリズムの有効性と効率性を、合成データおよび実世界のマイクロブログデータセット上で評価すること。

提案手法

• JERを、選定されたジャッジメンバーの半数以上が誤った答えを提供する確率として明示的に定義する。
• 全組み合わせ列挙を避けるために、バウンディング技術を用い、それぞれO(n²)およびO(n log n)時間でJERを計算する2つの効率的アルゴリズムを提案する。
• AltrMモデルにおいて、個々の誤差率の増加に伴いJERが単調増加することを証明し、より効率的な正確なアルゴリズムの実現を可能にする。
• 報酬を要するユーザーを想定するPayMモデルを定式化し、JSPがPayMにおいてNP困難であることを証明し、実用的な選定のためのグリーディベースのヒューリスティックを提案する。
• 実際のマイクロブログデータ（例：HITSおよびPageRankから得たもの）および合成データを用い、誤差率と予算制約の変動に応じたアルゴリズムの性能を評価する。
• 集約メカニズムとして過半数投票を適用し、正解との比較によって精度、再現率、およびJERを測定する。

実験結果

リサーチクエスチョン

• RQ1 すべての可能なジャッジの組み合わせを全列挙しないで、JERをどのように効率的に計算できるか？
• RQ2 個々の誤差率が全体のJERに与える影響は何か？ また、単調性の性質を最適化に活用できるか？
• RQ3 報酬を要するユーザー（報酬が必要なユーザー）と利他のユーザー（報酬なしで貢献するユーザー）の間で、選定戦略はどのように異なるか？
• RQ4 NP困難であるにもかかわらず、グリーディヒューリスティックはPayMモデルで近似的に最適なJERを達成できるか？
• RQ5 提案されたアルゴリズムは、実際のマイクロブログデータにおいて、正解との比較で精度（精度、再現率）およびJERの観点から、どのように性能を発揮するか？

主な発見

• 提案されたJER計算アルゴリズムにより、時間計算量が指数的からO(n²)およびO(n log n)に削減され、大規模なマイクロブログネットワークにおけるスケーラブルな評価が可能になった。
• AltrMモデルにおいて、JERは個々の誤差率の増加に伴い単調に増加するため、JSPを解くためのより効率的な正確なアルゴリズムの実現が可能になった。
• PayMモデルはNP困難であることが証明されたが、提案されたグリーディヒューリスティックは実データでJER 0.00075を達成し、強力な実用的性能を示した。
• 実験の結果、HITSベースの選定は完全な精度と再現率（1.0）を達成したが、PageRankベースの選定は低誤差率のユーザーを含むため、精度と再現率が低かった。しかし、依然として非常に低いJERを達成した。
• PayALGヒューリスティックによって選定されたジャッジのサイズは、正解のサイズに非常に近い値を示し、コストと信頼性のバランスが適切に取れていることを示している。
• 結果は、提案されたアルゴリズムが効率的かつ効果的であることを検証しており、予算制約下でのJER最小化において、ベースライン手法を著しく上回っている。