[논문 리뷰] The Manipulation Problem: Conversational AI as a Threat to Epistemic Agency

Louis Rosenberg|arXiv (Cornell University)|2023. 06. 19.

Ethics and Social Impacts of AI인용 수 13

한 줄 요약

The paper identifies manipulation risks in conversational AI, especially with real-time adaptive influence and video/voice personas, and argues for policy protections of epistemic agency.

ABSTRACT

The technology of Conversational AI has made significant advancements over the last eighteen months. As a consequence, conversational agents are likely to be deployed in the near future that are designed to pursue targeted influence objectives. Sometimes referred to as the "AI Manipulation Problem," the emerging risk is that consumers will unwittingly engage in real-time dialog with predatory AI agents that can skillfully persuade them to buy particular products, believe particular pieces of misinformation, or fool them into revealing sensitive personal data. For many users, current systems like ChatGPT and LaMDA feel safe because they are primarily text-based, but the industry is already shifting towards real-time voice and photorealistic digital personas that look, move, and express like real people. This will enable the deployment of agenda-driven Virtual Spokespeople (VSPs) that will be highly persuasive through real-time adaptive influence. This paper explores the manipulative tactics that are likely to be deployed through conversational AI agents, the unique threats such agents pose to the epistemic agency of human users, and the emerging need for policymakers to protect against the most likely predatory practices.

연구 동기 및 목표

• 대화형 AI가 표적 영향력 향상을 위해 어떻게 사용될 수 있는지에 대한 고찰 촉구.
• AI 에이전트가 사용할 가능성이 높은 조작 전술을 특징짓다.
• 실시간 대화에서 인간의 인식 주체성에 대한 위협을 강조하다.
• AI 능력이 확장됨에 따라 포식적 관행을 억제하기 위한 정책 개입을 주장하다.

제안 방법

• 대화형 AI가 배포할 수 있는 가능성 있는 조작 수법을 분석하다.
• 실시간 대화와 적응적 영향력이 사용자를 어떻게 위협하는지 논의하다.
• 설득력 있는 VSPs를 가능하게 하는 음성 및 포토리얼리스틱 디지털 페르소나로의 전환을 조사하다.
• 포식적 관행으로부터 보호하기 위해 정책 입안자들을 옹호하다.

실험 결과

연구 질문

• RQ1 대화형 AI 에이전트가 배포할 가능성이 있는 조작 전술은 무엇인가?
• RQ2 이러한 전술이 인간 사용자의 인식 주체성에 어떤 위협을 주는가?
• RQ3 대화형 AI에서 포식적 관행을 차단하기 위해 필요한 정책 수단은 무엇인가?

주요 결과

• 대화형 AI는 표적 영향력 향상을 추구하는 데 사용될 수 있다.
• 포식적 전술은 사용자의 신념, 구매 및 개인 데이터에 위험을 초래한다.
• 실시간 음성과 포토리얼리스틱 페르소나로의 전환은 매우 설득력 있는 VSPs를 가능하게 한다.
• 포식적 AI 관행으로부터 보호를 마련하기 위한 정책 입안자들의 보호 조치 필요성이 부상하고 있다.