[論文レビュー] Combinatorial Pair Testing: Distinguishing Workers from Slackers

David Eppstein, Michael T. Goodrich+1 more|arXiv (Cornell University)|May 1, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用数 4

ひとこと要約

本稿では、ペairプログラミングやクラウドソーシングなどの共同作業環境において、生産性の低い個人（スローガー）を性能に基づくペアワイズテストを用いて同定するためのフレームワークである組合せペアテスト（CPT）を提案する。本稿では、5ラウンド以内にすべてのスローガーを同定可能な、適応的および非適応的なアルゴリズムを提示しており、定数要因内で最適なラウンド複雑度を達成するとともに、参加者に対する無関心性（participant obliviousness）を確保することで、プライバシー保護を実現する。

ABSTRACT

We formalize a problem we call combinatorial pair testing (CPT), which has applications to the identification of uncooperative or unproductive participants in pair programming, massively distributed computing, and crowdsourcing environments. We give efficient adaptive and nonadaptive CPT algorithms and we show that our methods use an optimal number of testing rounds to within constant factors. We also provide an empirical evaluation of some of our methods.

研究の動機と目的

• ペアプログラミングやクラウドソーシングのような共同作業環境における協力的でない、もしくは生産性の低い参加者の系統的同定手法を形式化すること。
• すべてのスローガーを同定するのに必要なテストラウンド数を最小限に抑える、効率的な適応的および非適応的テストアルゴリズムを設計すること。
• 参加者に対する無関心性を実現するアルゴリズムを設計することで、プライバシー保護を確保すること。
• 理論的下界を確立し、提案されたアルゴリズムが定数要因内で最適なラウンド複雑度を達成することを示すこと。
• 現実的状況における実用的性能を、実験的分析を通じて評価すること。

提案手法

• 本稿は、問題を組合せペアテスト（CPT）としてモデル化し、各テストは2人の個人のパフォーマンスを評価し、少なくとも1人がワーカー（生産的）であれば真を返す（パフォーマンスに基づくテスト）。
• テスト結果を表すために対称的なブール論理のOR関数を用いる：T(x,y) = 真 となるのは、x もしくは y の少なくとも一方がワーカー（1）である場合、両方がスローガー（0）の場合は偽。
• 適応的アルゴリズムは、過去のテスト結果に基づいてペアを動的に選択するが、非適応的アルゴリズムはあらかじめすべてのテストを事前に定義する。両者とも参加者に対する無関心性を満たすように設計されている。
• 参加者をグループに分割し、反復的なラウンドによるテストを実施。既知のスローガーを別々のペアに配置することで、そのパートナーを同定する。これは、スローガーがワーカーとペアになるとテスト結果が偽になるという事実を活用する。
• ワーカーの密度δが既知の場合、段階的な戦略を用いる：δ ≤ 1/2 の場合、5ラウンドで十分。δが大きい場合、必要なラウンド数は減少し、組合せ的数え上げを用いて性能の上限を導出する。
• 理論的分析では、数え上げ的議論を用いて各ラウンド後に同定されないスローガーの数を上限づけ、以降のラウンドで残りのすべての人物を同定可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスに基づくペアワイズテストを用いて、グループ内のすべてのスローガーを同定するために必要な最小ラウンド数は何か？
• RQ2 適応的および非適応的CPTアルゴリズムは、定数要因内で最適なラウンド複雑度を達成できるか？
• RQ3 CPTアルゴリズムにおいて、参加者に対する無関心性をどのように達成できるか？これは評価中のプライバシー保護に寄与する。
• RQ4 スローガーの割合に関する事前知識が、同定の効率に与える影響は何か？
• RQ5 パフォーマンスに基づくOR関数以外のテストタイプに対しても、このフレームワークを拡張可能か？

主な発見

• 提案された適応的CPTアルゴリズムは、5ラウンド以内にすべてのスローガーを同定可能であり、ラウンド数はワーカーの割合δに依存する。これらの境界は定数要因内で最適である。
• δ ≤ 1/2 の場合、4人組のグループテストを用いた5ラウンドのアルゴリズムにより、最初の3ラウンドで少なくともn/3のスローガーが同定され、残りの全員が2ラウンドで同定可能となる。
• δ > 1/2 の場合、必要なラウンド数はδの値に応じて2、3、または4に減少する。δ ≤ 5/14 の場合、最初のラウンドで少なくとも2n/7のスローガーが同定可能である。
• 分析により、各ラウンド後にスローガーおよび他の人物（ワーカーや未知者）の顕著な割合が同定され、段階的削減が可能であることが示された。
• このフレームワークは参加者に対する無関心性をサポートしており、参加者が自分のペアリングパターンだけから自分の状態を推測できないため、評価環境におけるプライバシー強化に寄与する。
• 本稿では、アルゴリズムが使用するラウンド数が定数要因内で最適であることを証明し、CPT問題の理論的限界を確立した。