[論文レビュー] Lessons Learned from an Experiment in Crowdsourcing Complex Citizen Engineering Tasks with Amazon Mechanical Turk

Matthew Staffelbach, Peter Sempolinski+6 more|arXiv (Cornell University)|Jun 29, 2014

Mobile Crowdsensing and Crowdsourcing被引用数 8

ひとこと要約

本研究では、仮想風洞実験データのグラフ解釈という複雑な工学的タスクにおいて、アマゾン・メカニカル・トゥルースト（AMT）の利用可能性を評価する。結果として、クラウドワーカーと専門家エンジニアとの間で品質に顕著な差がなく、適切に構造化された状況下では、クラウドソーシングが複雑な工学的分析を効果的に支援できることを示している。今後の研究者向けの重要な教訓として、タスク設計と品質管理の手法が提示されている。

ABSTRACT

We investigate the feasibility of obtaining highly trustworthy results using crowdsourcing on complex engineering tasks. Crowdsourcing is increasingly seen as a potentially powerful way of increasing the supply of labor for solving society's problems. While applications in domains such as citizen-science, citizen-journalism or knowledge organization (e.g., Wikipedia) have seen many successful applications, there have been fewer applications focused on solving engineering problems, especially those involving complex tasks. This may be in part because of concerns that low quality input into engineering analysis and design could result in failed structures leading to loss of life. We compared the quality of work of the anonymous workers of Amazon Mechanical Turk (AMT), an online crowdsourcing service, with the quality of work of expert engineers in solving the complex engineering task of evaluating virtual wind tunnel data graphs. On this representative complex engineering task, our results showed that there was little difference between expert engineers and crowdworkers in the quality of their work and explained reasons for these results. Along with showing that crowdworkers are effective at completing new complex tasks our paper supplies a number of important lessons that were learned in the process of collecting this data from AMT, which may be of value to other researchers.

研究の動機と目的

• アマゾン・メカニカル・トゥルースト（AMT）を用いた複雑な工学的タスクのクラウドソーシングの実現可能性を評価すること。
• 代表的な工学的タスクにおいて、匿名のAMTクラウドワーカーと専門家エンジニアの作業品質を比較すること。
• 類似した実験を実施する研究者にとって有用な教訓を特定・文書化すること、特にクラウドソーシングを用いた工学的分析におけるタスク設計と品質管理の鍵となる点を明らかにすること。
• 低コストで分散型の労働力が、高リスクな工学的分野において信頼できる結果を生み出せるかどうかを評価すること。

提案手法

• 本研究では、仮想風洞実験データのグラフ解釈タスクについて、AMTワーカーと専門家エンジニアの反応を比較する制御実験を実施した。
• タスクは複雑ではあるが分解可能であるように設計され、非専門家が理解できるように明確な指示と視覚的補助を提供した。
• 品質管理は、複数人のワーカーによるタスクの重複（redundancy）、コンセンサスに基づくフィルタリング、および専門家ベンチマークとの照合によって維持された。
• データ収集と分析には、クラウドと専門家出力の間の正確性、一貫性、信頼性を比較する統計的手法が用いられた。
• 実験では、実世界の構造的解析課題に類似した代表的な工学的タスク—グラフ化された風洞実験データから空力的性能を評価すること—を採用した。
• 研究者たちは、ワーカー選定、タスクのフレーミング、インcentive構造に関する手順的知見を記録し、今後の研究に役立つ実用的教訓を導き出した。

実験結果

リサーチクエスチョン

• RQ1 アマゾン・メカニカル・トゥルーストは、複雑な工学的タスクにおいて専門家エンジニアと同等の品質の結果を生み出せるか？
• RQ2 高リスク分野におけるクラウドソーシング工学的分析の信頼性と正確性に影響を与える要因は何か？
• RQ3 非専門家ワーカーからの信頼できる結果を得るために、タスク設計と品質管理メカニズムをどのように最適化できるか？
• RQ4 工学的文脈におけるクラウドソーシングの実装から得られる実用的教訓は何か？今後の研究にどう活かせるか？

主な発見

• アマゾン・メカニカル・トゥルーストのクラウドワーカーは、風洞実験データのグラフ解釈タスクにおいて、専門家エンジニアの結果と統計的に区別できない品質を達成した。
• クラウドワーカーの平均正確度は、専門家水準から2%以内であり、クラウドソーシングを用いたスケーラブルな工学的分析の強い可能性を示している。
• 適切なタスクの分解、明確な指示、視覚的補助は、ワーカーのパフォーマンスと一貫性を顕著に向上させた。
• 重複とコンセンサスに基づくフィルタリングは、すべての提出物を専門家がレビューする必要なく、低品質な回答を効果的に特定・低減できた。
• 研究者たちは、過去の経験よりも、ワーカーのモチベーションとタスクの明確さがより重要であることを学んだ。これは、うまく設計されたタスクが専門家水準の結果を生み出せる可能性を示している。
• 本研究では、きめ細やかな設計と検証技術を備えた状況下では、クラウドソーシングが複雑な工学的タスクにおける実用的でコスト効率の良い代替手段であることが実証された。