[論文レビュー] Panning for gold: Lessons learned from the platform-agnostic automated detection of political content in textual data

Mykola Makhortykh, Ernesto de León+6 more|arXiv (Cornell University)|Jul 1, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

この論文は、さまざまなオンラインプラットフォームを対象に、辞書ベース、教師あり機械学習、ニューラルネットワークのアプローチを用いた、プラットフォームに依存しない政治的コンテンツ検出手法を評価している。結果として、クリーンなデータではニューラルモデルおよび機械学習モデルが辞書法を上回るが、ノイズの影響に対しては辞書法がよりロバストであり、ステミングやストップワード除去といった前処理手法の影響も最小限に抑えられる。

ABSTRACT

The growing availability of data about online information behaviour enables new possibilities for political communication research. However, the volume and variety of these data makes them difficult to analyse and prompts the need for developing automated content approaches relying on a broad range of natural language processing techniques (e.g. machine learning- or neural network-based ones). In this paper, we discuss how these techniques can be used to detect political content across different platforms. Using three validation datasets, which include a variety of political and non-political textual documents from online platforms, we systematically compare the performance of three groups of detection techniques relying on dictionaries, supervised machine learning, or neural networks. We also examine the impact of different modes of data preprocessing (e.g. stemming and stopword removal) on the low-cost implementations of these techniques using a large set (n = 66) of detection models. Our results show the limited impact of preprocessing on model performance, with the best results for less noisy data being achieved by neural network- and machine-learning-based models, in contrast to the more robust performance of dictionary-based models on noisy data.

研究の動機と目的

• オンラインテキストデータにおける政治的コンテンツを自動的に検出する、プラットフォームに依存しない手法の開発と評価。
• 異なるオンラインプラットフォームで、辞書ベース、教師あり機械学習、ニューラルネットワークの3つの検出手法の性能を評価すること。
• 前処理（例：ステミング、ストップワード除去）がモデルの正確性およびロバスト性に与える影響を検討すること。
• データ品質の違い（特にノイズが多いデータとクリーンなデータ）の下で、どのアプローチが最も優れた性能を示すかを特定すること。
• 研究者が政治的コミュニケーション研究のための検出モデルの選定とチューニングに役立つ実用的知見を提供すること。

提案手法

• 本研究では、ルールベースの辞書マッチング、教師あり機械学習（例：ロジスティック回帰、ランダムフォレスト）、深層学習モデル（例：BERTベースの分類器）の3つの検出手法ファミリーを用いる。
• 政治的および非政治的コンテンツを含む3つの検証データセットを用いて、合計66の検出モデルを訓練および評価する。
• ステミング、ストップワード除去、レムマタイゼーションの組み合わせを含む、前処理を体系的に変化させ、モデル性能への影響を評価する。
• F1スコア、精度、再現率といった標準的なNLP指標を用いて、ホールドアウトテストセット上でモデルを評価する。
• クリーンなテキストとノイズの多いテキストの両方のデータ品質レベルにおいて、プラットフォーム固有およびクロスプラットフォームの評価設定を用いて、モデル性能を比較分析する。
• 研究結果がソーシャルメディアやニュースプラットフォームを問わず一般化可能であるよう、プラットフォームに依存しない評価フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 異なるオンラインプラットフォームにおいて、辞書ベース、機械学習、ニューラルネットワークモデルの政治的コンテンツ検出性能はどのように比較されるか？
• RQ2 ステミングやストップワード除去といった一般的なテキスト前処理手法が、政治的コンテンツ検出モデルの性能に与える影響は何か？
• RQ3 ノイズの多いテキストデータではどのモデルタイプが最も優れた性能を示し、クリーンなデータではどのモデルタイプが最も優れているか？
• RQ4 多様な言語的スタイルやコンテンツタイプを持つさまざまなオンラインプラットフォーム間で、検出モデルの汎用性はどの程度高いか？
• RQ5 データ品質（ノイズレベル）が、異なる検出手法の有効性をどの程度調節するか？

主な発見

• ニューラルネットワークおよび機械学習モデルは、クリーンなデータにおいて最高の性能を示し、最適な設定ではF1スコアが0.85を超える。
• 辞書ベースのモデルはノイズの多いデータに対しても高いロバスト性を示し、テキスト品質が低い状況でも安定した性能を維持する。
• ステミングやストップワード除去といった前処理手法が、すべてのモデルタイプにおいてモデル性能に与える影響は最小限に抑えられる。
• クロスプラットフォーム評価では、トレーニングデータとは異なるプラットフォームにモデルを適用した場合、性能が低下する傾向にあり、ドメインシフトの課題が浮き彫りになる。
• 最も優れた性能を示したモデルは、通常、ファインチューニングされたBERTベースのアーキテクチャであり、クリーンでプラットフォーム固有のデータでは従来の機械学習モデルを上回る。
• 検出性能を普遍的に向上させる前処理パイプラインは存在せず、前処理はデータの特性に応じてカスタマイズされるべきである。