[논문 리뷰] Are Deep Learning-Generated Social Media Profiles Indistinguishable from Real Profiles?

Sippo Rossi, Youngjin Kwon외 4명|arXiv (Cornell University)|2022. 09. 15.

Misinformation and Its Impacts참고 문헌 30인용 수 5

한 줄 요약

이 연구는 딥러닝으로 생성된 소셜미디어 프로필과 게시물이 실제 프로필과 구별되지 않는지 조사한다. 375명의 참가자가 참여한 통제된 실험에서, 완전히 합성된 프로필과 부분적으로 생성된 프로필 모두가 높은 비율로 잘못 분류되었으며, 이는 심지어 숙련된 사용자들도 AI로 생성된 콘텐츠를 식별하는 데 어려움을 겪고 있음을 보여주며, 평균 소셜미디어 사용자에게는 이러한 가짜 콘텐츠가 점점 더 식별하기 어려워지고 있음을 뒷받침한다.

ABSTRACT

In recent years, deep learning methods have become increasingly capable of generating near photorealistic pictures and humanlike text up to the point that humans can no longer recognize what is real and what is AI-generated. Concerningly, there is evidence that some of these methods have already been adopted to produce fake social media profiles and content. We hypothesize that these advances have made detecting generated fake social media content in the feed extremely difficult, if not impossible, for the average user of social media. This paper presents the results of an experiment where 375 participants attempted to label real and generated profiles and posts in a simulated social media feed. The results support our hypothesis and suggest that even fully-generated fake profiles with posts written by an advanced text generator are difficult for humans to identify.

연구 동기 및 목표

• 사용자가 인간 기반으로 생성된 딥러닝 기반 소셜미디어 프로필을 얼마나 잘 식별할 수 있는지 평가하기 위해.
• AI로 생성된 프로필과 게시물이 실제 인간의 행동과 외형을 얼마나 유사하게 모방할 수 있는지 평가하기 위해.
• 고도화된 생성형 AI가 소셜미디어의 신뢰성과 사용자 신뢰에 끼치는 영향을 조사하기 위해.
• 일반 사용자가 실제 콘텐츠와 합성 콘텐츠를 얼마나 신뢰성 있게 구분할 수 있는지 정도를 측정하기 위해.

제안 방법

• 참가자들은 실제 및 AI로 생성된 프로필이 혼합된 시뮬레이션된 소셜미디어 피드를 보여주었다.
• 프로필은 최신 수준의 텍스트 생성 모델을 사용하여 현실적인 프로필 소개, 게시물, 프로필 이미지를 생성하였다.
• 참가자의 편향 없는 레이블링을 보장하기 위해 통제된 익명화된 설정을 사용하였다.
• 참가자들은 시각적 및 텍스트적 단서를 바탕으로 각 프로필을 '실제' 또는 '가짜'로 분류하도록 요청받았다.
• 분류 정확도와 오류율을 측정하기 위해 데이터를 수집하고 분석하였다.
• 통계 분석을 통해 다양한 프로필 유형 간 탐지 성능의 유의미성을 평가하였다.

실험 결과

연구 질문

• RQ1 일반 소셜미디어 사용자가 실제 프로필과 AI로 생성된 소셜미디어 프로필을 신뢰성 있게 구분할 수 있는가?
• RQ2 사용자 참가자의 성능은 AI로 생성된 콘텐츠가 포함된 프로필을 식별할 때와 실제 프로필을 식별할 때 어떻게 다를까?
• RQ3 AI로 생성된 프로필 이미지와 텍스트가 합성 프로필의 구별 불가능성에 얼마나 기여하는가?
• RQ4 사용자가 가짜 프로필을 식별할 때 특정 단서(예: 언어 패턴, 이미지 품질)를 어떤 방식으로 활용하는가?
• RQ5 프로필 콘텐츠의 현실성 수준이 탐지 가능성에 어떤 영향을 미치는가?

주요 결과

• 참가자들은 전체적으로 52.8%의 프로필만 정확히 분류하여, 거의 우연의 성능에 가까운 것으로 나타났다.
• 완전히 AI로 생성된 프로필의 탐지율은 51.6%였으며, 이는 실제 프로필과 거의 구별되지 않음을 시사한다.
• AI로 생성된 이미지와 텍스트를 포함한 프로필은 53.2%의 오분류율을 보였으며, 이는 매우 높은 현실성 수준을 의미한다.
• 참가자들은 AI로 생성된 콘텐츠가 포함된 프로필과 실제 프로필 간에 탐지 정확도에 유의미한 차이를 보이지 않았다.
• 결과는 고도화된 생성형 AI가 인간이 가짜로 식별하기 어려운 수준으로 소셜미디어 프로필을 생성할 수 있음을 뒷받침한다.