[논문 리뷰] Towards Understanding of Deepfake Videos in the Wild

Beomsang Cho, Binh M. Le외 5명|arXiv (Cornell University)|2023. 09. 05.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 현재까지 가장 크고 다양한 실생활 딥페이크 데이터셋인 RWDF-23을 소개한다. 이 데이터셋은 21개 국가와 네 가지 언어에서 레딧, 유튜브, 틱톡, 빌리비에서 수집한 총 2,000개의 영상으로 구성되어 있으며, NLP와 메타데이터를 활용해 딥페이크 제작자, 변조 전략, 목적 및 시청자 반응을 분석한다. 그 결과, 피해자의 민족과 성별에 따라 시청자 반응에 심각한 편향이 존재하는 것으로 드러났으며, 시간에 따른 사용자 참여 트렌드도 규명되었다.

ABSTRACT

Deepfakes have become a growing concern in recent years, prompting researchers to develop benchmark datasets and detection algorithms to tackle the issue. However, existing datasets suffer from significant drawbacks that hamper their effectiveness. Notably, these datasets fail to encompass the latest deepfake videos produced by state-of-the-art methods that are being shared across various platforms. This limitation impedes the ability to keep pace with the rapid evolution of generative AI techniques employed in real-world deepfake production. Our contributions in this IRB-approved study are to bridge this knowledge gap from current real-world deepfakes by providing in-depth analysis. We first present the largest and most diverse and recent deepfake dataset (RWDF-23) collected from the wild to date, consisting of 2,000 deepfake videos collected from 4 platforms targeting 4 different languages span created from 21 countries: Reddit, YouTube, TikTok, and Bilibili. By expanding the dataset's scope beyond the previous research, we capture a broader range of real-world deepfake content, reflecting the ever-evolving landscape of online platforms. Also, we conduct a comprehensive analysis encompassing various aspects of deepfakes, including creators, manipulation strategies, purposes, and real-world content production methods. This allows us to gain valuable insights into the nuances and characteristics of deepfakes in different contexts. Lastly, in addition to the video content, we also collect viewer comments and interactions, enabling us to explore the engagements of internet users with deepfake content. By considering this rich contextual information, we aim to provide a holistic understanding of the {evolving} deepfake phenomenon and its impact on online platforms.

연구 동기 및 목표

• 최신의, 다양한, 실생활에 기반한 딥페이크 데이터셋이 부족한 문제를 해결하기 위해.
• 실세계에서 공유되는 비성적 딥페이크 영상의 특성, 제작자, 목적을 조사하기 위해.
• 특히 피해자의 민족, 성별, 영상 카테고리에 따라 시청자 참여도와 감성 반응을 분석하기 위해.
• 플랫폼 간 및 시간에 따른 딥페이크 유포 및 청중 인식 패턴을 규명하기 위해.
• 윤리적 승인을 받은 실증적 데이터 수집 및 분석을 통해 더 견고한 탐지 및 완화 전략 개발을 지원하기 위해.

제안 방법

• 21개 국가와 네 가지 언어에서 레딧, 유튜브, 틱톡, 빌리비에서 시스템적으로 2,000개의 딥페이크 영상을 수집하여 광범위한 언어적 및 문화적 다양성을 확보하였다.
• 업로더 신원, 피해자 인구통계(성별, 민족, 직업), 영상 타임스탬프, 플랫폼 고유 속성 등을 포함한 포괄적인 메타데이터를 확보하였다.
• 조회수, 좋아요, 댓글, 댓글 타임스탬프 등을 수집하여 시간에 따른 참여 동역학을 분석하였다.
• NLP 기법을 적용해 사용자 댓글의 감성을 분석하고, 감성 점수 모델을 사용해 실감성과 편향에 대한 청중 인식을 평가하였다.
• 제작자가 제공한 레이블(예: 교육, 과학 및 기술 등)을 기반으로 영상 카테고리 분류를 수행하여 콘텐츠 유형 간 감성 비교를 수행하였다.
• Mann-Whitney U 검정(α = 0.01)을 사용해 피해자 인구통계에 따른 감성 점수 간 유의미한 차이를 평가하였다.

Figure 1: Summary of our overall procedure to collect the dataset. Besides the videos, we have collected their metadata and also labeled various attributes of the content.

실험 결과

연구 질문

• RQ1 다양한 플랫폼과 국가에서 최근에 생성된 딥페이크 영상의 특성은 무엇인가요?
• RQ2 딥페이크 영상 업로더는 누구이며, 제작 및 공유의 의도는 무엇인가요?
• RQ3 사용자 반응과 반응은 시간이 지남에 따라 어떻게 변화하며, 감성에 영향을 주는 요인은 무엇인가요?

주요 결과

• 백인 피해자가 등장하는 영상에는 가장 중립적인 댓글이 많았고, 동남아시아계 피해자가 등장하는 영상에는 상대적으로 더 긍정적인 감성 댓글이 많아, 청중 인식에 지역적 또는 민족적 편향이 존재할 가능성이 드러났다.
• 여성 피해자는 남성 피해자보다 유의미하게 더 많은 긍정적 댓글을 받았으며, p값 < 0.001이었다. 이는 주로 노래나 춤과 같은 엔터테인먼트 콘텐츠에서 자주 묘사되기 때문일 것이다.
• 제작자가 '교육'으로 분류한 콘텐츠는 더 긍정적인 청중 반응을 보였으며, 이는 인식 제고를 빙자해 딥페이크를 확산시키는 잠재적 악용 경로일 수 있음을 시사한다.
• 딥페이크에 대해 정보를 제공하기 위해 제작된 과학 및 기술 영상에는 '이 기술은 너무 위험하다'와 같은 부정적 댓글이 더 많아, 두려움과 우려를 반영하고 있다.
• 시청자 관심은 2023년 초에 급격히 증가하여 평균 1개 영상당 6,000개의 댓글을 기록했으며, MidJourney와 같은 생성 모델의 발전이 주요 원인일 가능성이 있다.
• 2021년 중반 이후 관심은 감소했지만 2023년 초에 다시 회복되어, 기술 발전과 주요 이벤트와 연관된 주기적인 공중 관심 패턴을 보였다.

(c) Geographic distribution of publisher