[論文レビュー] Using Artificial Intelligence to Accelerate Collective Intelligence: Policy Synth and Smarter Crowdsourcing

Róbert Bjarnason, Dane Gambrell+1 more|arXiv (Cornell University)|Jun 3, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 3

ひとこと要約

本論文では、公共分野の問題解決における集団知性を加速する手法であるスマート・クラウドソーシングの改善を図る、AIを活用したツールキット「Policy Synth」を紹介する。AIを統合して専門家の意見や研究を統合することで、解決策の質、スケーラビリティ、効率性が向上し、実世界の事例研究において専門家によるクラウドソーシングのみに比べ顕著な改善が確認された。

ABSTRACT

In an era characterized by rapid societal changes and complex challenges, institutions' traditional methods of problem-solving in the public sector are increasingly proving inadequate. In this study, we present an innovative and effective model for how institutions can use artificial intelligence to enable groups of people to generate effective solutions to urgent problems more efficiently. We describe a proven collective intelligence method, called Smarter Crowdsourcing, which is designed to channel the collective intelligence of those with expertise about a problem into actionable solutions through crowdsourcing. Then we introduce Policy Synth, an innovative toolkit which leverages AI to make the Smarter Crowdsourcing problem-solving approach both more scalable, more effective and more efficient. Policy Synth is crafted using a human-centric approach, recognizing that AI is a tool to enhance human intelligence and creativity, not replace it. Based on a real-world case study comparing the results of expert crowdsourcing alone with expert sourcing supported by Policy Synth AI agents, we conclude that Smarter Crowdsourcing with Policy Synth presents an effective model for integrating the collective wisdom of human experts and the computational power of AI to enhance and scale up public problem-solving processes. While many existing approaches view AI as a tool to make crowdsourcing and deliberative processes better and more efficient, Policy Synth goes a step further, recognizing that AI can also be used to synthesize the findings from engagements together with research to develop evidence-based solutions and policies. The study offers practical tools and insights for institutions looking to engage communities effectively in addressing urgent societal challenges.

研究の動機と目的

• 複雑で緊急性の高い社会的課題に応えるために、従来の公共部門の問題解決手法に見られる限界を是正すること。
• 人的知性とAIを統合した、スケーラブルで効果的なフレームワークを構築すること。
• 人間中心のAIツールキットを設計し、集団意思決定における人間知性を補完・強化することを目的とし、代替しないこと。
• AI補助が専門家主導のクラウドソーシングプロセスの質、速度、スケーラビリティに与える影響を評価すること。
• 政策立案においてAI補助型集団知性を実装したい機関に実用的なツールと知見を提供すること。

提案手法

• Policy Synthは、スマート・クラウドソーシングプロセスの主要段階である問題の明確化、専門家の関与、解決策の統合を自動化・強化するAIエージェントを採用している。
• ツールキットは自然言語処理とリtrieval-augmented generationを用い、専門家の入力と外部の研究・証拠を統合する。
• AIエージェントは専門家の貢献を誘導・構造化し、一貫性、関連性、政策目標との整合性を保証するように設計されている。
• ギャップの特定、矛盾の検出、根拠に基づく改善の提案を通じて、解決策の反復的改善を支援する。
• 人間が中核に参加する設計により、AIは専門家の判断力や創造性を代替するものではなく、補助するものである。
• 本手法は、専門家によるクラウドソーシングのみと、Policy Synthで強化された専門家によるクラウドソーシングを比較する実世界の事例研究に基づいている。

実験結果

リサーチクエスチョン

• RQ1 AIをどのように集団知性プロセスに効果的に統合することで、公共分野の問題解決のスピードと質を向上させられるか？
• RQ2 AI補助は、政策立案における専門家主導のクラウドソーシングのスケーラビリティと効率性をどの程度向上させるか？
• RQ3 AIエージェントは、専門家の意見と研究を統合して、人間のみのプロセスよりも効果的に証拠に基づいた政策解決策を生成できるか？
• RQ4 Policy Synthの「人間が中核に参加する」設計は、専門家の意思決定の自由を保ちながら、集団知性をどのように拡張するか？
• RQ5 従来の方法と比較して、Policy Synthは解決策の質、解決までの時間、ステークホルダー参加度にどの程度の測定可能な改善をもたらすか？

主な発見

• Policy Synthは、専門家の意見と関連する研究を統合することで、より証拠に基づき、実行可能である政策提言が得られるよう、解決策の質を顕著に向上させた。
• AI補助プロセスは、専門家によるクラウドソーシングのみのケースと比較して、解決までの時間を短縮し、集団問題解決の効率性が向上したことを示した。
• 構造化されたAIガイド付きの貢献ワークフローにより、広範な専門家参加を可能にしたため、スケーラビリティが向上した。
• 事例研究では、AIエージェントが専門家の提出物におけるギャップや矛盾を効果的に特定し、より一貫性があり包括的な解決策を生み出した。
• AIが貢献の統合と検証を担ったことで、参加者は最終出力に対する信頼感をより強く感じており、信頼性と使いやすさの向上が示された。
• Policy Synthの人間中心の設計により、専門家のコントロールを維持しながら集団知性を拡張でき、自動化への過度な依存を回避した。