[논문 리뷰] Misinformation Detection on YouTube Using Video Captions

Raj Jagtap, Abhinav Kumar외 4명|arXiv (Cornell University)|2021. 07. 02.

Misinformation and Its Impacts참고 문헌 42인용 수 10

한 줄 요약

이 논문은 비디오 자막에 대한 자연어 처리 기법을 사용하여 유튜브 영상의 오보 탐지 시스템을 제안하며, 이진 분류(오보 대 기타)에서 최대 0.95 F1 점수를 기록한다. 자막 기반 텍스트 특징이 오보와 반박 또는 중립적 콘텐츠를 구분하는 데에 메타데이터만을 사용하는 것보다 우수하다는 것을 입증한다.

ABSTRACT

Millions of people use platforms such as YouTube, Facebook, Twitter, and other mass media. Due to the accessibility of these platforms, they are often used to establish a narrative, conduct propaganda, and disseminate misinformation. This work proposes an approach that uses state-of-the-art NLP techniques to extract features from video captions (subtitles). To evaluate our approach, we utilize a publicly accessible and labeled dataset for classifying videos as misinformation or not. The motivation behind exploring video captions stems from our analysis of videos metadata. Attributes such as the number of views, likes, dislikes, and comments are ineffective as videos are hard to differentiate using this information. Using caption dataset, the proposed models can classify videos among three classes (Misinformation, Debunking Misinformation, and Neutral) with 0.85 to 0.90 F1-score. To emphasize the relevance of the misinformation class, we re-formulate our classification problem as a two-class classification - Misinformation vs. others (Debunking Misinformation and Neutral). In our experiments, the proposed models can classify videos with 0.92 to 0.95 F1-score and 0.78 to 0.90 AUC ROC.

연구 동기 및 목표

• 유튜브에서 시청 수나 좋아요 수 등의 메타데이터가 오보와 반박 콘텐츠를 구분하는 데에 효과적이지 않은 바, 오보 탐지 문제를 해결하기 위해.
• 영상 자막(말하는 내용의 원문)이 오보 식별을 위한 신뢰할 수 있는 텍스트 특징로 기능할 수 있는지 조사하기 위해.
• 다양한 사전 훈련된 단어 임베딩과 기계 학습 모델의 성능을 평가하여, 영상이 오보, 오보 반박, 중립으로 분류되는 세 가지 카테고리로 나누는 데에 사용하기 위해.
• 오보 탐지를 강조하기 위해 분류 작업을 이진 문제(오보 대 기타)로 재정의하여 모델의 집중도와 성능을 향상시키기 위해.
• 유튜브에서 정확하고 확장 가능한 오보 탐지에 가장 효과적인 임베딩과 분류기 조합을 특정하기 위해.

제안 방법

• 백색화된 유튜브 데이터셋에서 다섯 가지 음모 이론 주제(백신, 9/11, 화학비행기, 달 착륙, 평면 지구)에 대한 영상 자막(자막)을 추출하였다.
• 자막을 자연어 처리 처리를 위한 조밀한 벡터 표현으로 변환하기 위해 사전 훈련된 단어 임베딩(GloVe, Word2Vec, Google News, 트위터 훈련)을 적용하였다.
• 다양한 기계 학습 분류기(SVM, ExtraTrees, XGBoost, AdaBoost, Logistic Regression)를 사용하여 다중 분류 및 이진 분류 작업을 수행하였다.
• 모델 성능 평가에 F1 점수, 정밀도, 재현율, 정확도, AUC-ROC를 사용하였으며, 하이퍼파rameter 튜닝 및 상위-T 스코어링 방법을 통해 최적의 모델을 선별하였다.
• 오보 탐지에 집중하기 위해 분류 문제를 이진 작업(오보 대 기타)으로 재구성하였다.
• 다양한 데이터셋(Wikipedia, Google News, 트위터)과 임베딩 차원(100D, 300D) 간의 임베딩 성능을 비교하여 가장 효과적인 표현 방식을 특정하였다.

실험 결과

연구 질문

• RQ1 전통적인 메타데이터(시청 수, 좋아요 수, 댓글 수)보다 영상 자막이 오보 탐지에 더 신뢰할 수 있는 신호를 제공할 수 있는가?
• RQ2 다양한 사전 훈련된 단어 임베딩(GloVe, Google News, 트위터 등)은 유튜브 영상 자막의 오보 식별을 위한 의미적 단서를 얼마나 잘 포착하는가?
• RQ3 유튜브 영상의 오보, 반박, 중립 카테고리로 분류하기 위한 최적의 기계 학습 모델과 임베딩 조합은 무엇인가?
• RQ4 다중 분류 대비 이진 분류 문제로 재정의할 경우(오보 대 기타), 오보 탐지 성능이 유의미하게 향상되는가?
• RQ5 모델 성능 지표(F1 점수, AUC-ROC)는 다양한 음모 이론 주제 간에 어떻게 변화하는가? 그리고 어떤 주제가 자동 탐지에 가장 적합한가?

주요 결과

• 자막 기반 특징을 사용하여 오보, 오보 반박, 중립 카테고리로 영상을 분류한 다중 분류 설정에서 모델은 F1 점수 0.85에서 0.90을 기록하였다.
• 이진 분류 설정(오보 대 기타)에서는 F1 점수가 0.92에서 0.95 사이로 나타나 유해 콘텐츠 탐지에 뛰어난 성능을 보였다.
• 이진 분류 작업에서 AUC-ROC 점수는 0.78에서 0.90 사이로 변동하였으며, 오보 콘텐츠와 비오보 콘텐츠를 잘 구분할 수 있는 능력을 보였다.
• 시험한 임베딩 중에서 GloVe 300D와 Google News 300D가 대부분의 주제에서 최고 성능을 보였으며, 특히 9/11 음모 주제에서는 Google News 300D가 뛰어난 성능을 보였다.
• 9/11 음모 주제는 AUC-ROC가 가장 낮은 0.78를 기록하여 정치적으로 민감한 콘텐츠에서 오보를 구분하는 데 높은 모호성 또는 복잡성이 존재함을 시사한다.
• 백신 논란 주제에서 가장 뛰어난 성능을 보인 모델은 GloVe 100D를 사용한 SVC로, F1 점수 0.97을 기록하여 건강 관련 오보 탐지에 매우 높은 신뢰성을 보였다.