[論文レビュー] LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs

Tongshuang Wu, Haiyi Zhu+22 more|arXiv (Cornell University)|Jul 19, 2023

Mobile Crowdsensing and Crowdsourcing被引用数 9

ひとこと要約

本論文は、現代の LLM が複雑な人間計算ワークフローのサブタスクを処理することにより、クラウドソーシングのパイプラインを再現できるかを調査し、成功にはばらつきがあり、指示に対する感受性と人間と LLM の補完の必要性を強調します。

ABSTRACT

LLMs have shown promise in replicating human-like behavior in crowdsourcing tasks that were previously thought to be exclusive to human abilities. However, current efforts focus mainly on simple atomic tasks. We explore whether LLMs can replicate more complex crowdsourcing pipelines. We find that modern LLMs can simulate some of crowdworkers' abilities in these ``human computation algorithms,'' but the level of success is variable and influenced by requesters' understanding of LLM capabilities, the specific skills required for sub-tasks, and the optimal interaction modality for performing these sub-tasks. We reflect on human and LLMs' different sensitivities to instructions, stress the importance of enabling human-facing safeguards for LLMs, and discuss the potential of training humans and LLMs with complementary skill sets. Crucially, we show that replicating crowdsourcing pipelines offers a valuable platform to investigate 1) the relative LLM strengths on different tasks (by cross-comparing their performances on sub-tasks) and 2) LLMs' potential in complex tasks, where they can complete part of the tasks while leaving others to humans.

研究の動機と目的

• タスクをサブタスクに分解することにより、LLMs が複雑なクラウドソーシングのパイプラインを再現できるか評価する。
• 複数のパイプラインにわたり、LLM ベースのチェーンをベースラインの単一 LLM ソリューションと比較する。
• 指示感受性、支援構造、タスクの粒度など、LLM 再現の成功または失敗に影響を与える要因を特定する。
• 人間と LLM の協働への含意と、LLM 主導のワークフロー設計に関するガイダンスを検討する。

提案手法

• 以前の研究から、テキスト入力/出力でサブタスクを非同期にスレッドするクラウドソーシングパイプラインを選択する。
• 学生に、ベースラインの単一 LLM タスクソルバーと、パイプラインを再現する LLM チェーンの2つの解法を実装させる。
• プロンプトを用いてサブタスクを LLM に割り当て、学生が設計したテストケースに対して出力を評価する。
• 再現の正確性とチェーンの有効性を評価するため、同輩の評価を用いる。
• 複雑なタスクにおける LLM の長所と限界を特定するため、学生の再現間の定性的差異を分析する。
• 再利用可能なオープンソースの再現アーティファクト（プロンプト、出力、評価）を公開する。

実験結果

リサーチクエスチョン

• RQ1 LLMs はクラウドソーシングのパイプラインをサブタスクへ分解することをどの程度再現できるか。
• RQ2 再現の正確性とタスクの有効性という点で、LLM チェーンはベースラインのモノリシック LLM ソリューションとどう比較されるか。
• RQ3 指示設計、タスク構造、インターフェース/ガードレールといった要因は、人間計算パイプラインの LLM 再現の成功にどのように影響するか。
• RQ4 これらのパイプラインでサブタスクを実行する際の LLM の観察された長所と短所は人間と比べてどうか。
• RQ5 再現から得られる洞察を、複雑なワークフローにおけるサブタスクの人間と LLM 之间の割り当てにどのように活かせるか。

主な発見

• LLMs はいくつかのクラウドソーシングパイプラインを再現でき、各パイプラインにつき少なくとも1つの正確な再現と1つの有効な再現がある。
• 再現の成功は、パイプラインとサブタスクによって異なり、プロンプトが情報の探索、タスクのバランス、および出力構造をいかに導くかによって左右される。
• LLMs は指示文の表現、特に形容詞や比較プロンプトに対する感受性が人間より高い。
• 非テキスト的な UI 制約の欠如と、人間が行うような暗黙の情報フィルタリングを行えないことにより乖離が生じる。
• 明示的な情報探索、中間品質管理、タスクの構造化が、LLM チェーンの改善点として特定される。
• 成果は、LLMs を人間の補完として捉える考えを支持し、タスクの委任とガイド付きプロンプティングを実践的なアプローチとして提案する。