[論文レビュー] The Manipulation Problem: Conversational AI as a Threat to Epistemic Agency

Louis Rosenberg|arXiv (Cornell University)|Jun 19, 2023

Ethics and Social Impacts of AI被引用数 13

ひとこと要約

この論文は、会話型AIにおける操作リスクを特定し、リアルタイム適応的な影響力行使とビデオ/音声のペルソナを中心に、認識主体性を保護する政策を主張している。

ABSTRACT

The technology of Conversational AI has made significant advancements over the last eighteen months. As a consequence, conversational agents are likely to be deployed in the near future that are designed to pursue targeted influence objectives. Sometimes referred to as the "AI Manipulation Problem," the emerging risk is that consumers will unwittingly engage in real-time dialog with predatory AI agents that can skillfully persuade them to buy particular products, believe particular pieces of misinformation, or fool them into revealing sensitive personal data. For many users, current systems like ChatGPT and LaMDA feel safe because they are primarily text-based, but the industry is already shifting towards real-time voice and photorealistic digital personas that look, move, and express like real people. This will enable the deployment of agenda-driven Virtual Spokespeople (VSPs) that will be highly persuasive through real-time adaptive influence. This paper explores the manipulative tactics that are likely to be deployed through conversational AI agents, the unique threats such agents pose to the epistemic agency of human users, and the emerging need for policymakers to protect against the most likely predatory practices.

研究の動機と目的

• 会話型AIが標的化された影響を与えるためにどのように使われ得るかを検討する動機付け。
• AIエージェントによって展開されそうな操作戦術を特徴づける。
• リアルタイム対話における人間の認識主体性に対する脅威を強調する。
• AI能力の拡大に伴い捕食的な行為を抑止するための政策介入を主張する。

提案手法

• 会話型AIが展開し得る可能性のある操作的戦術を分析する。
• リアルタイム対話と適応的影響力がユーザーを脅かす方法を論じる。
• 声とフォトリアルなデジタルペルソナへと移行することが説得力の高いVSPsを可能にする。
• 政策立案者に捕食的行為から保護するよう提唱する。

実験結果

リサーチクエスチョン

• RQ1 会話型AIエージェントによって展開されそうな操作戦術は何か？
• RQ2 これらの戦術は人間の認識主体性にどのような脅威をもたらすのか？
• RQ3 会話型AIにおける捕食的な行為を防ぐためにどのような政策措置が必要か？

主な発見

• 会話型AIは標的化された影響と操作を追求するために用いられる可能性がある。
• 捕食的戦術はユーザーの信念、購買、個人データにリスクをもたらす。
• リアルタイムの音声とフォトリアルなペルソナへの移行は極めて説得力のあるVSPsを可能にする。
• 政策立案者が捕食的なAI行為に対する保護を実装する必要性が高まっている。