[論文レビュー] Identifying Misinformation on YouTube through Transcript Contextual Analysis with Transformer Models

Christos Christodoulou, Nikos Salamanos+3 more|arXiv (Cornell University)|Jul 22, 2023

Misinformation and Its ImpactsSocial Sciences被引用数 3

ひとこと要約

本論文は、動画の字幕を用いて、微調整済みおよび少データ微調整（few-shot fine-tuned）トランスフォーマーモデル（例：RoBERTa、ELECTRA、MPNet）を用いたYouTube動画向けのテキストベースの誤情報検出システムを提案する。ワクチン関連およびフェイクニュースのデータセットにおいて、高い性能を達成しており、F1 > 0.90 かつ MCC > 0.81 を達成している。特に、YouTubeの偽科学データセットでは、少データ微調整モデルが微調整モデルを20%上回る性能を示し、低データ環境下での優れた汎化性能を示している。

ABSTRACT

Misinformation on YouTube is a significant concern, necessitating robust detection strategies. In this paper, we introduce a novel methodology for video classification, focusing on the veracity of the content. We convert the conventional video classification task into a text classification task by leveraging the textual content derived from the video transcripts. We employ advanced machine learning techniques like transfer learning to solve the classification challenge. Our approach incorporates two forms of transfer learning: (a) fine-tuning base transformer models such as BERT, RoBERTa, and ELECTRA, and (b) few-shot learning using sentence-transformers MPNet and RoBERTa-large. We apply the trained models to three datasets: (a) YouTube Vaccine-misinformation related videos, (b) YouTube Pseudoscience videos, and (c) Fake-News dataset (a collection of articles). Including the Fake-News dataset extended the evaluation of our approach beyond YouTube videos. Using these datasets, we evaluated the models distinguishing valid information from misinformation. The fine-tuned models yielded Matthews Correlation Coefficient>0.81, accuracy>0.90, and F1 score>0.90 in two of three datasets. Interestingly, the few-shot models outperformed the fine-tuned ones by 20% in both Accuracy and F1 score for the YouTube Pseudoscience dataset, highlighting the potential utility of this approach -- especially in the context of limited training data.

研究の動機と目的

• 動画の字幕のみを用いて、誤情報検出のための堅牢でスケーラブルな手法を開発すること。
• 微調整済みトランスフォーマーモデル（例：BERT、RoBERTa、ELECTRA）および少データ学習（例：MPNet、RoBERTa-large）の誤情報分類における有効性を評価すること。
• 字幕における長文分類の課題に、重複ウィンドウ戦略を用いて効果的に対処すること。
• ワクチン関連誤情報、偽科学、フェイクニュース記事の多様な誤情報タイプにおけるモデル性能を評価すること。
• 再現可能性および誤情報検出研究分野への広範な採用を促進するため、オープンソースコードを提供すること。

提案手法

• YouTube動画の分類を、動画のテキスト的字幕の抽出と分析によって、テキスト分類に変換する。
• 事前学習済みトランスフォーマーモデル（BERT、RoBERTa、ELECTRA）をタスク固有のデータセット上で微調整することで、転移学習を適用する。
• 文埋め込みモデル（MPNet、RoBERTa-large）を用いた少データ学習を採用し、最小限のラベル付きデータで高い性能を達成する。
• 長大な字幕を処理するために、80%の重複を伴うスライディングウィンドウ戦略を採用し、重要な情報が失われないよう保証する。
• 式 $ N = \lceil \frac{L - M}{S} \rceil + 1 $ を用いて、重複ウィンドウの数を決定する。ここで $ L $ は文書長、$ M $ は最大シーケンス長、$ S $ は重複長である。
• 各ウィンドウの予測を分類し、最終的なラベル（誤情報または有効なコンテンツ）を予測の集約によって決定する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 動画の字幕のみを用いて、微調整済みトランスフォーマーモデルおよび少データ学習が、YouTube動画の誤情報検出にどの程度効果的か。
• RQ2 RQ2: これらのモデルの性能は、異なる種類のデータセットでどのように変化するか。
• RQ3 RQ3: トランスフォーマーモデルを用いて、長文分類を効果的に処理する方法は何か。
• RQ4 RQ4: 低データ環境下において、微調整モデルと少データ学習モデルの性能を比較するとどうなるか。

主な発見

• 微調整済みRoBERTaは、YouTubeワクチンデータセットでMCC 0.88、正確度 0.94、F1スコア 0.94を達成した。
• YouTube偽科学データセットでは、少データMPNetがすべての微調整モデルを上回り、F1スコア 0.78、正確度 0.72を達成した。これは、微調整モデルを20%上回る性能であり、両方の指標で顕著な優位性を示した。
• 微調整済みELECTRAは、ISOTフェイクニュースデータセットで最高の性能を示し、MCC 0.94、正確度 0.97、F1スコア 0.97を達成した。
• 少データRoBERTa-largeは、ISOTフェイクニュースデータセットでF1スコア 0.90、正確度 0.94を達成し、少データ設定下でMPNetを上回った。
• 80%の重複を伴うスライディングウィンドウ戦略は、長文の文脈情報を効果的に保持しており、長大な字幕の信頼性ある分類を可能にした。
• 本研究は、少データ学習が、ラベル付きデータが限られる状況（例：YouTube偽科学データセット）において特に効果的であることを示している。