[논문 리뷰] GenAI Against Humanity: Nefarious Applications of Generative Artificial Intelligence and Large Language Models

Emilio Ferrara|arXiv (Cornell University)|2023. 10. 01.

Artificial Intelligence in Healthcare and Education인용 수 19

한 줄 요약

논문은 GenAI와 LLM의 악의적 사용을 조사하고 해-의도 분류체계를 제시하며 개념 증명 악용 시나리오를 수록하고 완화 및 규제 고려사항을 제시한다.

ABSTRACT

Generative Artificial Intelligence (GenAI) and Large Language Models (LLMs) are marvels of technology; celebrated for their prowess in natural language processing and multimodal content generation, they promise a transformative future. But as with all powerful tools, they come with their shadows. Picture living in a world where deepfakes are indistinguishable from reality, where synthetic identities orchestrate malicious campaigns, and where targeted misinformation or scams are crafted with unparalleled precision. Welcome to the darker side of GenAI applications. This article is not just a journey through the meanders of potential misuse of GenAI and LLMs, but also a call to recognize the urgency of the challenges ahead. As we navigate the seas of misinformation campaigns, malicious content generation, and the eerie creation of sophisticated malware, we'll uncover the societal implications that ripple through the GenAI revolution we are witnessing. From AI-powered botnets on social media platforms to the unnerving potential of AI to generate fabricated identities, or alibis made of synthetic realities, the stakes have never been higher. The lines between the virtual and the real worlds are blurring, and the consequences of potential GenAI's nefarious applications impact us all. This article serves both as a synthesis of rigorous research presented on the risks of GenAI and misuse of LLMs and as a thought-provoking vision of the different types of harmful GenAI applications we might encounter in the near future, and some ways we can prepare for them.

연구 동기 및 목표

• 사이버보안, 윤리, 사회 구조에 대한 Generative AI와 Large Language Models의 위험을 동기를 부여하고 문서화한다.
• 피해를 악의적 의도(기만, 선전, 부정직)와 매핑하는 분류체계를 제안한다.
• 개념 증명 악용 시나리오를 조사하고 정책과 실제에 대한 실질적 시사점을 논의한다.
• 규제 맥락(EU와 중국)을 강조하고 완화 전략과 지속적인 모니터링 필요성을 제시한다.

제안 방법

• Generative AI와 Large Language Models를 정의하고 그들의 생성 메커니즘을 설명한다.
• 해를(Harm to Person, Financial/Economic Damage, Information Manipulation, Societal/Infrastructural Damage)과 의도(Deception, Propaganda, Dishonesty)를 연결하는 3x4 해-의도 분류체계를 도입한다.
• 개념 증명 시나리오(Tables 2–3–5)와 이 분류체계를 뒷받침하기 위한 악용의 설명적 예시를 제시한다.
• 규제 환경과 윤리적 지침을 논의하고 완화 및 위험-편익 분석 접근법을 제안한다.

Figure 1. Charting the Landscape of Nefarious Applications of Generative Artificial Intelligence and Large Language Models

실험 결과

연구 질문

• RQ1 GenAI와 LLM의 어떤 사악한 응용이 명백하거나 그럴듯한가?
• RQ2 피해와 공격자의 의도를 어떻게 체계적으로 분류하여 오용을 예측할 수 있는가?
• RQ3 GenAI 남용을 보여주는 구체적인 개념 증명 시나리오는 무엇이며, 그것들의 시사점은 무엇인가?
• RQ4 GenAI 남용에 대응하기 위해 권장되는 완화, 거버넌스, 규제 접근법은 무엇인가?

주요 결과

• 피해의 유형을 악의적 의도와 연결하는 해-의도 분류체계(3x4 매트릭스)를 도입한다.
• 사칭, 잘못된 정보, 기만, 선전에 걸친 개념 증명 악용 시나리오(Tables 2–3–5)를 요약한다.
• 실세계 사례와 위험(예: AI 생성 음성 사칭, 합성 신원)을 문서화하고 그 시사점을 논의한다.
• EU와 중국의 규제 관점을 논의하고 지속적 모니터링과 윤리적 지침의 필요성을 강조한다.
• 기술적 및 사회기술적 완화 전략과 위험-편익 분석의 중요성에 대한 권고를 제시한다.

Figure 2. Mind Map of Abuse and Malicious Applications of GenAI and Large Language Models.