[論文レビュー] Democratic Policy Development using Collective Dialogues and AI

Andrew Konya, Lisa Schirch+2 more|arXiv (Cornell University)|Nov 3, 2023

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

この論文は、AI補助の集団対話とブリッジング型ランキング、および GPT-4 搭載パイプラインを組み合わせて、 informed public will を反映した政策ガイドラインを開発するエンドツーエンドの民主的プロセスを提示し、米国を対象とした三つの領域で検証した。

ABSTRACT

We design and test an efficient democratic process for developing policies that reflect informed public will. The process combines AI-enabled collective dialogues that make deliberation democratically viable at scale with bridging-based ranking for automated consensus discovery. A GPT4-powered pipeline translates points of consensus into representative policy clauses from which an initial policy is assembled. The initial policy is iteratively refined with the input of experts and the public before a final vote and evaluation. We test the process three times with the US public, developing policy guidelines for AI assistants related to medical advice, vaccine information, and wars & conflicts. We show the process can be run in two weeks with 1500+ participants for around $10,000, and that it generates policy guidelines with strong public support across demographic divides. We measure 75-81% support for the policy guidelines overall, and no less than 70-75% support across demographic splits spanning age, gender, religion, race, education, and political party. Overall, this work demonstrates an end-to-end proof of concept for a process we believe can help AI labs develop common-ground policies, governing bodies break political gridlock, and diplomats accelerate peace deals.

研究の動機と目的

• 多様な見解の中で informed public will を反映する政策開発アプローチを動機づける。
• AI 搭載の集団対話とコンセンサス発見手法を統合し、代表性があり高品質な政策を生み出す。
• 公的および専門家の意見を取り入れて政策を反復的に改善し、広範な公衆支持を評価する。
• 実世界の試験でプロセスのスケーラビリティと費用対効果を示す。
• 人権の先例と実用的な実現性との整合性を評価する。

提案手法

• Remesh を用いたAI-補助の集団対話で参加者を教育し、 informed views を引き出す。
• ブリッジング型ランキングを適用し、集団対話出力から合意点を特定する。
• GPT4 搭載パイプラインを用いて合意点を代表的な政策条項へ翻訳し、初期の政策編成を行う。
• 専門家を関与させて初期政策をより高品質な版へ refin e する。
• 公衆との第二回集団対話を実施し、政策の代表性を高める。
• 最終政策の支持と人権規範との整合性を GPT4 で評価する。

Figure 1: Diagram showing the key elements of a collective dialogue. A moderator guides a back-and-forth exchange with a group which involves sending messages, polls, and triggering collective response processes. During each collective response process, participants respond to an open-ended prompt t

実験結果

リサーチクエスチョン

• RQ1 AI補助のスケーラブルな審議プロセスは、人口統計グループ全体で広範な公衆支持を得られる政策指針を生成できるか。
• RQ2 ブリッジング型ランキングは、政策条項に適した合意点を効果的に浮かび上がらせるか。
• RQ3 GPT-4 は合意点を、一貫性があり代表的な政策条項へ翻訳し、専門家の精査に耐えるか。
• RQ4 このエンドツーエンドプロセスで生み出された政策の公衆支持と人権の一貫性の水準はどれくらいか。
• RQ5 医療助言、ワクチン、戦争・紛争という異なる政策領域と参加規模で、プロセスはどの程度機能するか。

主な発見

• 各プロセス実行で米国人口を代表する1500人以上が募集され、約2週間実施された。
• 総参加は約5000件のテキスト回答と約10万票程度を各実行で含んだ。
• 最終的な政策ガイドラインは全体で74～81%の公衆支持、人口統計グループ横断で70～75%のブリッジング支持を達成。
• 条項ごとの支持は63～95%で、人権宣言との衝突はゼロだった。
• 三分野にわたる政策は、民主党派・無所属・共和党派を問わず72%以上の支持を示した。
• 審議的な state change の証拠があり、条項レベルの評価後に公衆の洞察の認識が高まり支持が上昇した。

Figure 2: Screenshots showing the key participatory actions for each collective response process that takes place during a collective dialogue on Remesh: A) Submit natural language response to prompt, B) review others’ responses and vote if you agree, C) review pairs of other’s responses and vote wh