[論文レビュー] CrowdRev: A platform for Crowd-based Screening of Literature Reviews

Jorge Ramírez, Evgeny Krivosheev+3 more|arXiv (Cornell University)|May 31, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用数 12

ひとこと要約

CrowdRev は、短い走行（Shortest Run, SR）と呼ばれる動的でベイズベースの投票戦略を用いて、系統的文献レビュー（SLRs）における論文スクリーニングの速度を向上させ、コストを削減する、クラウドおよびAI連携型プラットフォームです。これにより、著者レベルの分類精度を、時間とコストのわずか数分の1で達成でき、困難なケースは自動的に放棄されるため、無駄な支出を防げます。

ABSTRACT

In this paper and demo we present a crowd and crowd+AI based system, called CrowdRev, supporting the screening phase of literature reviews and achieving the same quality as author classification at a fraction of the cost, and near-instantly. CrowdRev makes it easy for authors to leverage the crowd, and ensures that no money is wasted even in the face of difficult papers or criteria: if the system detects that the task is too hard for the crowd, it just gives up trying (for that paper, or for that criteria, or altogether), without wasting money and never compromising on quality.

研究の動機と目的

• 系統的文献レビュー（SLRs）における手作業によるスクリーニングの増大する負担と非効率性に対処すること。これはしばしば数か月を要し、関連する研究を見逃すリスクを伴う。
• 著者と同等の分類精度を維持しながら、SLRスクリーニングのコストと時間を削減すること。
• コストがかかったり、処理が困難な意思決定を避けるために、どの（論文、基準）ペアをクラウドソーシングするかを知的に選択するシステムを開発すること。
• 基準、投票、意思決定ロジックのログ記録を通じて、再現性と監査可能性を確保することで、スクリーニングプロセスの透明性を提供すること。
• 非専門家著者と高度な研究者を両方支援するため、柔軟なインタラクションモードとカスタマイズ可能な戦略を提供すること。

提案手法

• CrowdRev は、現在の投票と事前確率に基づいて、特定の基準が論文に適用される確率を推定するためのベイズ推論に基づくアルゴリズムである Shortest Run (SR) を使用する。
• 期待コストと意思決定の信頼性に基づいて、次に照会する（論文、基準）ペアを動的に選択し、迅速かつ正確な意思決定に繋がる可能性の高いペアを優先する。
• クラウドの精度を基準ごとに推定し、少数の投票でコンSENSUSに到達する確率を計算することで、コストを最小限に抑える。
• 低品質な作業者をフィルタリングするため、定期的な「ハニーポット」テストと初期資格確認（例：70％の正確性、またはSLRバッジ）を導入する。
• 著者は、投票の進行に応じてリアルタイムでコストと正確性の推定値が更新される段階的スクリーニングを開始できる。
• 研究者向けには、さまざまな投票戦略やラベル集約手法（例：Dawid-Skene、Whitehill など、先行研究からのものも含む）の実験が可能である。

実験結果

リサーチクエスチョン

• RQ1 クラウドベースのシステムは、コストと時間を削減しながら、専門家著者と同等の分類精度を達成できるか？
• RQ2 コストを最小限に抑え、意思決定の速度を最大化するために、システムはどのようにしてどの（論文、基準）ペアをクラウドソーシングするかを知的に優先すべきか？
• RQ3 曖昧で分類が難しい論文に直面した場合、どのようなメカニズムが耐性を保つのに有効か？
• RQ4 ハイブリッドクラウド-AI手法は、SLRスクリーニングの効率性と信頼性をどの程度向上させられるか？
• RQ5 すべての基準、投票、意思決定ロジックをログ記録することで、スクリーニングプロセスをどの程度透明化・再現可能にすることができるか？

主な発見

• CrowdRev は、SLRスクリーニングの時間を数時間、コストを著者によるコストのわずか数分の1にまで削減しながらも、高い正確性を維持している。
• システムは、クラウドでのコンセンサスが費用対効果よく達成できないケースを自動で放棄するため、品質を損なうことなく無駄な支出を防いでいる。
• Shortest Run (SR) アルゴリズムにより、ベイズ確率推定に基づき、高影響・低コストの（論文、基準）ペアを優先することで、ほぼ即時の分類が可能になった。
• リアルタイムでのコストと正確性の推定値を提供するため、著者は段階的に投資でき、いつでも停止できる。
• すべての基準、投票、意思決定ロジックをログ記録するため、公開されたSLRの補足資料として含めることができる。
• シミュレーションベースの予算曲線により、さまざまな戦略と投資水準における予想される正確度と再現度を可視化できる。