[논문 리뷰] Business (mis)Use Cases of Generative AI

Stephanie Houde, Vera Liao외 6명|arXiv (Cornell University)|2020. 03. 02.

Ethics and Social Impacts of AI참고 문헌 46인용 수 25

한 줄 요약

이 논문은 AI 엔지니어들과의 공동 창작 디자인 허구를 통해 생성형 AI의 고위험 비즈니스 오용 사례를 탐구하며, 텍스트, 오디오, 영상 생성 분야에서 현실적이지만 심각한 위협—예를 들어 합성 신원 사기 및 딥페이크 조작—을 드러내고, 기술, 규제, 교육을 통합한 예방 전략을 규명한다.

ABSTRACT

Generative AI is a class of machine learning technology that learns to generate new data from training data. While deep fakes and media-and art-related generative AI breakthroughs have recently caught people's attention and imagination, the overall area is in its infancy for business use. Further, little is known about generative AI's potential for malicious misuse at large scale. Using co-creation design fictions with AI engineers, we explore the plausibility and severity of business misuse cases.

연구 동기 및 목표

• 생성형 AI의 '악성 행위자' 시각에서 현실적이며 심각한 기업 오용 사례를 조사하기 위해.
• AI 전문가들이 실제 비즈니스 환경에서 합성 콘텐츠 위협의 현실성, 심각성 및 잠재적 완화 방법을 어떻게 인식하는지 이해하기 위해.
• 금융, 미디어, 신원 확인 분야 등에서 생성형 AI가 대규모로 오용될 수 있는 방식을 탐색하기 위해.
• 기술, 규제, 공공 인식을 융합한 실천 가능한 예방 전략을 도출하기 위해.
• 전문가의 통찰을 통합하여 향후 AI 위험과 윤리적 설계에 기여함으로써 인간 중심의 데이터 과학에 기여하기 위해.

제안 방법

• 악성 AI 응용 프로그램에 관한 허구적 서사(디자인 허구)를 전문 AI 소프트웨어 엔지니어들과의 협업 도구로 활용하여 연구를 수행하였다.
• 텍스트, 오디오, 영상 생성을 포함한 세 가지 반페이지 분량의 디자인 허구 시나리오를 제시하여 공동 창작 활동을 수행하였다.
• AI 엔지니어들과의 가이드드 토론을 통해 시나리오의 현실성, 심각성 및 악화 가능성을 평가하였다.
• 오용이 더 악화될 수 있는 요소, 더 나은 방향으로 개선될 수 있는 방법, 그리고 효과가 있을 수 있는 예방 조치를 수집하였다.
• 참가자 반응을 분석하여 위험 인식 패턴과 기술적, 규제적, 교육적 대응 조치에 대한 패턴을 식별하였다.
• 연구자들의 사전 가정을 뛰어넘어 전문가 경험에 기반한 參與적이고 해석적인 방법을 통해 통찰을 도출하였다.

실험 결과

연구 질문

• RQ1 텍스트, 오디오, 영상 분야에서 생성형 AI의 현실적이며 심각한 기업 오용 사례는 무엇인가?
• RQ2 AI 전문가들은 실제 비즈니스 환경에서 합성 콘텐츠 위협의 현실성과 심각성을 어떻게 평가하는가?
• RQ3 생성형 AI 오용을 악화시킬 수 있는 요인은 무엇이며, 이러한 위험을 완화할 수 있는 메커니즘은 무엇인가?
• RQ4 기술, 규제, 교육의 조합 중 어떤 조합이 생성형 AI의 대규모 오용을 방지할 수 있는가?
• RQ5 위험한 잠재력이 있음에도 불구하고 생성형 AI는 어떻게 유익한 응용 분야로 재활용될 수 있는가?

주요 결과

• 참가자들은 합성 신원 사기 및 위조 의료 기록과 같은 고위험 오용 사례를 특정하였으며, 이는 보험 거부나 재정적 손실로 이어질 수 있다.
• 실제 인간의 목소리를 유사하게 재현하는 것이 배경 오디오 위조보다 더 위험시되었는데, 이는 사회 공학 및 신원 위조 가능성 때문이었다.
• 여러 출처의 일관된 위조 콘텐츠는 증거 검증을 복잡하게 만들며 디지털 콘텐츠에 대한 신뢰를 약화시킬 수 있다.
• 생성형 AI와 탐지 기술 간의 '무기 경쟁'이 존재한다는 인식이 있었으며, 탐지기의 훈련 데이터가 풍부할 경우 향후 탐지 성능 향상에 낙관적인 전망이 제기되었다.
• 오용 방지를 위한 핵심 요소로 데이터 추적 가능성, 콘텐츠 워터마킹, 법률 제도화를 제안하였다.
• 유익한 응용 사례로는 정서적 지지 목적의 노화된 초상화 생성 및 의사소통 장애가 있는 사람들의 음성 접근성 향상도 제안되었다.