[논문 리뷰] The World of Generative AI: Deepfakes and Large Language Models

Alakananda Mitra, Saraju P. Mohanty외 1명|arXiv (Cornell University)|2024. 02. 06.

Topic Modeling인용 수 8

한 줄 요약

이 짧은 기사는 딥페이크와 대형 언어 모델(LLMs) 간의 상관관계를 개관하며, 생성 AI가 고품질 합성 미디어와 대화를 가능케 하는 방법을 살펴보고, 사회적·정치적 함의와 완화 아이디어를 논의한다.

ABSTRACT

We live in the era of Generative Artificial Intelligence (GenAI). Deepfakes and Large Language Models (LLMs) are two examples of GenAI. Deepfakes, in particular, pose an alarming threat to society as they are capable of spreading misinformation and changing the truth. LLMs are powerful language models that generate general-purpose language. However due to its generative aspect, it can also be a risk for people if used with ill intentions. The ethical use of these technologies is a big concern. This short article tries to find out the interrelationship between them.

연구 동기 및 목표

• 딥페이크가 무엇인지와 GANs와 autoencoders를 사용해 어떻게 만들어지는지 설명한다.
• 대형 언어 모델의 진화와 능력 및 그들의 멀티모달 확장에 대해 설명한다.
• AI 챗봇이 딥페이크 생성과 확산에 어떤 영향을 미치는지 분석한다.
• 이 기술의 오용을 억제하기 위한 정책적, 윤리적, 그리고 완화 고려사항을 논의한다.

제안 방법

• 기존 deepfake 생성 기법(variational autoencoders와 GANs)과 현실성에서의 역할을 검토한다.
• 주요 LLM과 멀티모달 모델(GPT-4, PaLM-2, LLaMA-2, Ferret, Gemini)의 개발과 능력을 요약한다.
• ChatGPT 및 기타 챗봇이 딥페이크 생성 워크플로와 어떻게 통합되는지 설명한다.
• 정책 조치, 안전 벤치마크, 그리고 잠재적 방어책을 포함한 현재의 규제 및 안전 노력들을 종합한다.

실험 결과

연구 질문

• RQ1 딥페이크가 GANs와 autoencoders를 활용하여 현실감을 달성하는 방법은 무엇인가?
• RQ2 생성 AI 챗봇(LLMs)과 딥페이크 생성 또는 향상 간의 관계는 무엇인가?
• RQ3 딥페이크와 LLMs의 융합에서 어떤 윤리적, 정치적, 규제상의 도전이 나타나는가?
• RQ4 딥페이크 악용을 방지하기 위해 제안되거나 구현되고 있는 완화 전략과 안전 조치들은 무엇인가?

주요 결과

• 딥페이크는 높은 현실감으로 성숙한 상태로 진화하여 더 광범위한 악용과 허위정보를 가능하게 한다.
• LLMs와 멀티모달 모델은 딥페이크를 향상시키는 데 사용될 수 있는 합성 대화와 미디어의 생성을 가능하게 한다(다국어 대화를 포함).
• ChatGPT와 같은 도구를 플랫폼과 통합하면 전문 인력 없이도 고품질의 합성 비디오를 생성할 수 있다.
• AI 기반 허위정보와 딥페이크 악용을 억제하기 위한 정치적·규제적 노력이 전 세계적으로 진행 중이다(선거 관련 제한, 광고 고지, 안전 벤치마크).
• 방어적 접근에는 사이버 보안 평가 벤치마크와 LLM의 입력-출력 보호책, 그리고 워터마킹, 디지털 서명, 메타데이터 접근성 같은 억지책이 제안된다.