[논문 리뷰] Artificial Influence: An Analysis Of AI-Driven Persuasion

Matthew Burtell, Thomas Woodside|arXiv (Cornell University)|2023. 03. 15.

Ethics and Social Impacts of AI인용 수 20

한 줄 요약

이 논문은 AI-활용 설득이 권력 역학을 어떻게 바꿀 수 있고, 대규모로 개인화된 설득을 가능하게 하며, 인간 자율성을 위협할 수 있는지 분석하고, 잠재적 대응책과 그 한계를 개략적으로 제시한다.

ABSTRACT

Persuasion is a key aspect of what it means to be human, and is central to business, politics, and other endeavors. Advancements in artificial intelligence (AI) have produced AI systems that are capable of persuading humans to buy products, watch videos, click on search results, and more. Even systems that are not explicitly designed to persuade may do so in practice. In the future, increasingly anthropomorphic AI systems may form ongoing relationships with users, increasing their persuasive power. This paper investigates the uncertain future of persuasive AI systems. We examine ways that AI could qualitatively alter our relationship to and views regarding persuasion by shifting the balance of persuasive power, allowing personalized persuasion to be deployed at scale, powering misinformation campaigns, and changing the way humans can shape their own discourse. We consider ways AI-driven persuasion could differ from human-driven persuasion. We warn that ubiquitous highlypersuasive AI systems could alter our information environment so significantly so as to contribute to a loss of human control of our own future. In response, we examine several potential responses to AI-driven persuasion: prohibition, identification of AI agents, truthful AI, and legal remedies. We conclude that none of these solutions will be airtight, and that individuals and governments will need to take active steps to guard against the most pernicious effects of persuasive AI.

연구 동기 및 목표

• 정치, 마케팅, 정보 작전에 걸친 AI-활용 설득과 사회적 함의에 대한 연구를 촉진한다.
• 사회적 챗봇과 추천 시스템을 포함한 현재 및 미래의 AI 설득 형태를 특성화한다.
• AI 기반 설득이 설득력의 힘의 분배를 어떻게 바꾸고 인간 자율성, 담론 및 정보 환경에 어떤 영향을 미칠지 평가한다.
• 금지, 에이전트 식별, 진실한 AI, 법적 구제책 등 가능한 대응책과 그 실행 가능성을 조사한다.
• AI를 진실성에 맞추고 대규모 설득을 통제하는 데 남아 있는 미해결 과제를 강조한다.

제안 방법

• 확립된 설득 이론(예: Hovland 등)과 효율성에 영향을 미치는 요인에 대한 검토.
• 현재 AI 시스템과 응용 사례(LaMDA, Xiaoice, Replika, LLMs, Cicero, 추천 시스템)에 대한 조사를 수행한다.
• 대규모 개인화 설득과 AI 구현 상호 작용 등의 미래 능력 분석.
• 정보 무결성과 인간 자율성에 대한 위험에 대한 논의.
• 금지, AI 식별, 진실성, 책임/규제 접근법을 포함한 완화 전략의 평가.

실험 결과

연구 질문

• RQ1 현재 및 잠재적 미래 형태의 AI 주도 설득은 무엇인가?
• RQ2 AI-활용 설득이 설득력의 균형을 어떻게 바꾸고 인간 자율성에 어떤 영향을 미칠 수 있는가?
• RQ3 AI 주도 설득에 대한 실행 가능한 대응책은 무엇이고 어떤 한계에 직면하는가?

주요 결과

• AI 주도 설득은 AI 기술을 제어하고 배포할 수 있는 사람들에게 설득의 힘이 이동할 수 있다.
• 대규모의 개인화 설득은 수백만 명의 사용자에 대한 직접적이고 개별화된 영향을 가능하게 하여 캠페인에서 인간의 개입을 감소시킬 수 있다.
• 자동화는 조직적이거나 위조된 콘텐츠를 통해 아이디어 인기의 오해를 악화시킬 수 있다(에스트로터핑).
• 무한한 체력, 다중 시나리오 메시지, 신뢰도 제약의 부재로 인해 AI 에이전트가 더 강력한 설득자가 될 수 있지만 구현체화와 신뢰는 여전히 잠재적 장애물이다.
• 전 세계적 확산과 확산으로 인해 설득적 AI를 통제하거나 금지하는 것은 어려우며, 다각적 규제 및 기술적 접근이 필요하다.
• 제안된 완화책(식별, 진실성, 책임)은 구현상의 도전에 직면하며 만능의 해결책은 아니다.