[논문 리뷰] Using Artificial Intelligence to Accelerate Collective Intelligence: Policy Synth and Smarter Crowdsourcing

Róbert Bjarnason, Dane Gambrell외 1명|arXiv (Cornell University)|2024. 06. 03.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 공공 문제 해결에서 집단 지능을 가속화하는 데 목적이 있는 Smarter Crowdsourcing를 향상시키는 AI 기반 툴킷인 Policy Synth를 소개한다. 전문가의 입력과 연구를 통합함으로써 AI를 통합함으로써 솔루션의 품질, 확장성, 효율성이 향상되며, 실제 사례 연구를 통해 전문가 중심의 집단 지능보다 뚜렷한 향상이 이루어졌음을 입증하였다.

ABSTRACT

In an era characterized by rapid societal changes and complex challenges, institutions' traditional methods of problem-solving in the public sector are increasingly proving inadequate. In this study, we present an innovative and effective model for how institutions can use artificial intelligence to enable groups of people to generate effective solutions to urgent problems more efficiently. We describe a proven collective intelligence method, called Smarter Crowdsourcing, which is designed to channel the collective intelligence of those with expertise about a problem into actionable solutions through crowdsourcing. Then we introduce Policy Synth, an innovative toolkit which leverages AI to make the Smarter Crowdsourcing problem-solving approach both more scalable, more effective and more efficient. Policy Synth is crafted using a human-centric approach, recognizing that AI is a tool to enhance human intelligence and creativity, not replace it. Based on a real-world case study comparing the results of expert crowdsourcing alone with expert sourcing supported by Policy Synth AI agents, we conclude that Smarter Crowdsourcing with Policy Synth presents an effective model for integrating the collective wisdom of human experts and the computational power of AI to enhance and scale up public problem-solving processes. While many existing approaches view AI as a tool to make crowdsourcing and deliberative processes better and more efficient, Policy Synth goes a step further, recognizing that AI can also be used to synthesize the findings from engagements together with research to develop evidence-based solutions and policies. The study offers practical tools and insights for institutions looking to engage communities effectively in addressing urgent societal challenges.

연구 동기 및 목표

• 복잡하고 급박한 사회적 과제에 대응하기 위해 전통적인 공공 부문 문제 해결 방식의 한계를 해결하기 위해.
• 인간의 전문 지식과 AI를 통합하여 솔루션 생성을 가속화하는 확장 가능하고 효과적인 프레임워크를 개발하기 위해.
• 인간 중심의 AI 툴킷을 설계하여 집단 의사결정에서 인간 지능을 대체하기보다는 강화하기 위해.
• AI 보조 기술이 전문가 중심의 집단 지능 프로세스의 품질, 속도, 확장성에 미치는 영향을 평가하기 위해.
• 정책 개발에서 AI 보조 집단 지능을 구현하고자 하는 기관들에게 실용적인 도구와 통찰을 제공하기 위해.

제안 방법

• Policy Synth는 Smarter Crowdsourcing 프로세스의 핵심 단계인 문제 정의, 전문가 참여, 솔루션 통합을 자동화하고 향상시키기 위해 AI 에이전트를 활용한다.
• 툴킷은 자연어 처리와 검색 기반 생성 기술을 사용하여 전문가의 입력과 외부 연구 및 증거를 통합한다.
• AI 에이전트는 전문가 기여를 안내하고 구조화함으로써 일관성, 관련성, 정책 목표와의 일치를 보장하도록 설계되었다.
• 시스템은 솔루션의 격차를 식별하고 일관성을 탐지하며 증거 기반 개선 사항을 제안함으로써 솔루션의 반복적 개선을 지원한다.
• 인간이 참여하는 설계를 통해 AI는 전문가의 판단과 창의성을 대체하기보다는 보완한다.
• 이 방법은 전문가 중심의 집단 지능과 Policy Synth로 보강된 전문가 중심의 집단 지능 간의 결과를 비교한 실제 사례 연구에 기반한다.

실험 결과

연구 질문

• RQ1 어떻게 AI를 집단 지능 프로세스에 효과적으로 통합하여 공공 문제 해결의 속도와 품질을 향상시킬 수 있는가?
• RQ2 AI 보조 기술이 정책 개발에서 전문가 중심의 집단 지능의 확장성과 효율성에 어느 정도 향상시키는가?
• RQ3 AI 에이전트는 전문가의 입력과 연구를 융합하여 인간 중심의 프로세스보다 더 효과적으로 증거 기반 정책 솔루션을 생성할 수 있는가?
• RQ4 Policy Synth의 인간 중심 설계는 집단 지능을 강화하면서도 전문가의 주도권을 어떻게 유지하는가?
• RQ5 전통적 방법과 비교했을 때 Policy Synth는 솔루션 품질, 솔루션 도달 시간, 이해관계자 참여도에서 어떤 측정 가능한 향상을 제공하는가?

주요 결과

• Policy Synth는 전문가의 입력과 관련 연구를 통합함으로써 솔루션 품질을 크게 향상시켰으며, 더 증거 기반이고 실행 가능한 정책 제안이 이루어졌다.
• AI 보조 프로세스는 전문가 중심의 집단 지능보다 솔루션 도달 시간을 단축시켜 집단 문제 해결의 효율성을 향상시켰다.
• 구조화되고 AI가 안내하는 기여 워크플로우 덕분에 더 넓은 전문가 참여를 가능하게 함으로써 확장성을 높였다.
• 사례 연구에서 AI 에이전트는 전문가 제출물의 격차와 일관성 문제를 효과적으로 식별하여 더 통합적이고 일관성 있는 솔루션을 도출했다.
• AI가 기여를 통합하고 검증함으로써 참가자들이 최종 출력물에 대해 더 높은 신뢰를 느꼈으며, 이는 신뢰도와 사용성 향상을 시사한다.
• Policy Synth의 인간 중심 설계는 전문가의 통제를 유지하면서도 집단 지능을 강화하여 자동화에 대한 과도한 의존을 피했다.