[論文レビュー] Detecting and Reasoning of Deleted Tweets before they are Posted

Hamdy Mubarak, Samir Abdaljalil+2 more|arXiv (Cornell University)|May 5, 2023

Misinformation and Its Impacts被引用数 9

ひとこと要約

この論文は、削除された投稿と非削除の投稿を区別する大規模なアラビア語ツイートデータセットを構築し、細粒度の偽情報ラベルを付与して、投稿前に削除とその理由を予測するモデルを訓練する。

ABSTRACT

Social media platforms empower us in several ways, from information dissemination to consumption. While these platforms are useful in promoting citizen journalism, public awareness etc., they have misuse potentials. Malicious users use them to disseminate hate-speech, offensive content, rumor etc. to gain social and political agendas or to harm individuals, entities and organizations. Often times, general users unconsciously share information without verifying it, or unintentionally post harmful messages. Some of such content often get deleted either by the platform due to the violation of terms and policies, or users themselves for different reasons, e.g., regrets. There is a wide range of studies in characterizing, understanding and predicting deleted content. However, studies which aims to identify the fine-grained reasons (e.g., posts are offensive, hate speech or no identifiable reason) behind deleted content, are limited. In this study we address this gap, by identifying deleted tweets, particularly within the Arabic context, and labeling them with a corresponding fine-grained disinformation category. We then develop models that can predict the potentiality of tweets getting deleted, as well as the potential reasons behind deletion. Such models can help in moderating social media posts before even posting.

研究の動機と目的

• 細粒度の偽情報カテゴリを含む、削除済みと非削除ツイートの手動ラベル付けデータセットをアラビア語で開発する。
• 削除済みツイートがコンテンツ種別（ヘイトスピーチ、攻撃的表現、噂、スパム）を示すか、および投稿前にそれらを事前にモデレーションするのに利用できるかを調査する。
• 削除のダイナミクスを理解するため、ユーザーアカウントの状態やその他メタデータを分析する。
• 古典的モデルとトランスフォーマーベースのモデルを訓練・比較して、投稿前の削除とその理由を予測する。

提案手法

• 40Kツイートを収集（20Kは削除済み、20Kは非削除）、うち22Kを偽情報カテゴリで手動ラベル付けした。
• 細粒度ラベルを定義：ヘイトスピーチ、攻撃的、噂、スパム、さらに非偽情報を含む、アラビア語NLPの注釈基準に従う。
• 3つの分類タスクを構築：(i) 削除済み vs 非削除、(ii) 偽情報 vs 非、(iii) 細粒度偽情報カテゴリ。
• 従来モデル（RF, SVM）とトランスフォーマーモデル（AraBERT, XLM-R）を、データ分割70/10/20で比較。
• 精度、適合率、再現率、F1で評価し、全タスクの結果を報告。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ツイートが削除される潜在的理由は何か（例：ヘイトスピーチ、攻撃的表現）。
• RQ2 RQ2: 削除済みツイートはキーワードバイアスなしで有害なコンテンツを収集するのに適したソースか。
• RQ3 RQ3: 偽情報コンテンツを投稿するユーザーに対してTwitterはどのように対処するか（例： suspension, deletions）。
• RQ4 RQ4: 投稿前にツイートの潜在的な削除と理由を検出できるか。

主な発見

• 削除済みツイートは非削除ツイートより偽情報を含む傾向がある（ラベル付きサンプルでは20%対7%）。
• Twitterは偽情報を投稿するユーザーの substantial portion を停止するが、データセット全体ではそのようなユーザーの40%が停止されている。
• 偽情報カテゴリにはヘイトスピーチ、攻撃的表現、噂、スパムが含まれ、削除済みツイートにより多く見られる。
• AraBERTと XLM-Rモデルは、それぞれのタスクでベースラインを上回り、 AraBERTは細粒度偽情報で最も優れ、 XLM-Rは偽情報対非偽情報検出で優れている。
• 提案された削除後検出パイプラインは、投稿前に削除の可能性と理由についてユーザーに警告を出すことができる。