[논문 리뷰] Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data

Nahema Marchal, Rachel Xu외 4명|arXiv (Cornell University)|2024. 06. 19.

Ethics and Social Impacts of AI인용 수 13

한 줄 요약

본 논문은 ~200건의 실제 사례(Jan 2023–Mar 2024)에 대한 질적 분석으로 GenAI 오용 전술의 분류체계를 구축하고, 다중 모달리티에 걸친 능력 악용 및 시스템 침해에 초점을 둡니다.

ABSTRACT

Generative, multimodal artificial intelligence (GenAI) offers transformative potential across industries, but its misuse poses significant risks. Prior research has shed light on the potential of advanced AI systems to be exploited for malicious purposes. However, we still lack a concrete understanding of how GenAI models are specifically exploited or abused in practice, including the tactics employed to inflict harm. In this paper, we present a taxonomy of GenAI misuse tactics, informed by existing academic literature and a qualitative analysis of approximately 200 observed incidents of misuse reported between January 2023 and March 2024. Through this analysis, we illuminate key and novel patterns in misuse during this time period, including potential motivations, strategies, and how attackers leverage and abuse system capabilities across modalities (e.g. image, text, audio, video) in the wild.

연구 동기 및 목표

• 학계 문헌과 실제 관찰에 기반한 GenAI 오용 전술의 분류체계를 개발한다.
• 오용 전술을 GenAI 능력 악용과 GenAI 시스템 침해로 구분한다.
• 안전 및 거버넌스에 정보를 제공하기 위해 광범위한 모달리티의 보급 현황, 동기 부여, 패턴을 특성화한다.
• 공격자들이 다중 모달 출력을 활용해 조작, 사기 또는 괴롭힘과 같은 목표를 달성하는 방식 식별한다.

제안 방법

• 악의적 GenAI 사용 및 회색 분야의 문헌고찰.
• 2023년 1월부터 2024년 3월까지 발표된 ~200건의 GenAI 오용 미디어 보도에 대한 질적 분석.
• 논문들에서 관련 오용 전술을 식별하기 위한 이중 독립 코딩 및 이견에 대한 합의 도출.
• 사례를 행위자 목표, 전술, 도구, 대상에 매핑하고 부록 A/B 데이터를 보강한다.
• 두 개의 데이터 수집 경로: 독점적 소셜 리스닝 도구와 수작업 검색; 중복 제거를 통해 191건으로 축소한다.

실험 결과

연구 질문

• RQ1 행위자들이 GenAI 도구를 사용하면서 어떤 오용 전술을 사용하는가? 그리고 그것들은 어떻게 분류되는가?
• RQ2 오용 전술이 텍스트, 이미지, 오디오, 비디오 등 모달리티와 행위자 목표에 따라 어떻게 분포하는가?
• RQ3 조작이나 수익 창출과 같은 목표를 달성하기 위해 전술을 결합하는 일반적인 전략은 무엇인가?
• RQ4 실제 사례가 GenAI 시스템에 대한 공격인지, 아니면 능력 악용에 초점을 둔 것인가?
• RQ5 이러한 패턴이 거버넌스, 안전 평가 및 완화책에 어떤 함의를 갖는가?

주요 결과

• 문서화된 사례의 약 9/10은 모델을 직접 공격하기보다는 GenAI 능력을 악용하는 쪽에 초점을 맞춘다.
• 사칭 관련 전술(사칭, 소켓폴루핑, 적절한 닮은 사람의 모방, NCII)과 위조가 지배적이며, 종종 정치적·금전적 동기가 동반된다.
• 대부분의 오용은 최소한의 기술 전문 지식으로도 가능하고, 시스템 타깃형 공격보다는 손쉽게 접근 가능한 GenAI 기능에 의존한다.
• 정당성 및 고지 준수에 도전하는 정치적 확산 및 옹호 행태와 같은 낮은 수준의 오용이 신흥하고 있다.
• 실제 시스템 침해 사례는 많지 않으며(두 건의 실제 사례) 연구 시연과 관련이 있거나 배포된 공격보다는 시연에 더 자주 연결된다.
• 수익 창출 및 사기(콘텐츠 농장, 사칭 기반 사기)와 괴롭힘(NCII)이 주요 오용 범주를 형성하며, 도달 범위와 '디지털 부활'이 새로운 패턴으로 떠오르고 있다.