[論文レビュー] Using Deep Networks and Transfer Learning to Address Disinformation

Numa Dhamani, Paul Azunre+5 more|arXiv (Cornell University)|May 24, 2019

Misinformation and Its Impacts参考文献 23被引用数 10

ひとこと要約

本稿では、低リソース環境におけるラベル付きデータから一般化可能な転移学習を活用し、多様なソーシャルメディアタスクにおける誤情報検出のための文字レベルCNN-LSTMアンサンブルモデルを提案する。モデルは政治的センチメント分類で88.10%のテスト精度を達成し、有害コンテンツの識別では100%の精度を示した。スパム、レビュー・ボム、会話クラスタリングなどのタスクにおいても、テキスト入力のみで優れた性能を発揮した。

ABSTRACT

We apply an ensemble pipeline composed of a character-level convolutional neural network (CNN) and a long short-term memory (LSTM) as a general tool for addressing a range of disinformation problems. We also demonstrate the ability to use this architecture to transfer knowledge from labeled data in one domain to related (supervised and unsupervised) tasks. Character-level neural networks and transfer learning are particularly valuable tools in the disinformation space because of the messy nature of social media, lack of labeled data, and the multi-channel tactics of influence campaigns. We demonstrate their effectiveness in several tasks relevant for detecting disinformation: spam emails, review bombing, political sentiment, and conversation clustering.

研究の動機と目的

• 多様なオンライン通信プラットフォームにおける誤情報検出を目的とした汎用的でテキストのみに依存するフレームワークの開発。
• ラベル付きデータの制限とノイズの多いソーシャルメディアテキストの課題に対処するため、文字レベルのディープラーニングモデルを用いる。
• あるドメインのラベル付きデータから学習したモデルを、関連する誤情報検出タスクに転移学習することで、最小限の追加ラベル付けで性能を向上させる。
• クラスタリングやトレンド検出のための学習済み意味的表現を通じて、オンラインディス course の探索的分析を支援する。
• プラットフォーム固有のメタデータやネットワーク特徴量に依存しない、強固でポータブルな誤情報検出ソリューションの構築。

提案手法

• モデルは、語彙固定の必要のない、生のテキストから直接表現を学習する文字レベルの畳み込みニューラルネットワーク（CNN）を用いる。これにより、誤字、スラング、絵文字などの特徴を捉えることができる。
• 長短記憶ネットワーク（LSTM）は、CNNが学習した特徴を処理し、テキスト内の順序的依存関係をモデル化する。
• アンサンブルモデルは、大規模なラベル付きデータセットで事前学習することで、自然言語の汎用的かつ転送可能な表現を学習する。
• 転移学習は、スパム検出、センチメント分類、会話クラスタリングなどの下流タスクで事前学習モデルを微調整することで適用される。
• t-SNE可視化を用いて、クラスタリングやディス course パatters の解釈可能性のための学習済み潜在空間を分析する。
• フレームワークはメタデータやネットワーク構造に依存せず、テキスト入力のみに依存するため、クロスプラットフォームでの展開が可能である。

実験結果

リサーチクエスチョン

• RQ1 文字レベルのディープラーニングモデルは、テキスト入力のみで多様なソーシャルメディアタスクにおける誤情報分類を効果的に行えるか？
• RQ2 汎用的で事前学習されたモデルからの転移学習は、ラベルが少ない誤情報検出タスクにおける性能をどの程度向上させるか？
• RQ3 学習済み意味的表現は、会話クラスタリングや言語トレンド検出のような探索的分析をどの程度支援できるか？
• RQ4 誤字や絵文字などの非標準的な言語が存在する状況でも、有害コンテンツ検出においてモデルはどの程度の性能を示すか？
• RQ5 メタデータやネットワーク特徴量に依存せずに、政治的ディス course のセンチメント分類においても高い精度を達成できるか？

主な発見

• 政治的センチメント分類では、バイナリテスト精度が88.10%に達し、有害コンテンツの識別では100%の精度を示した。
• 0.5の確率閾値における有害コンテンツ検出の適合率、再現率、F1スコアはそれぞれ0.68、0.98、0.81であった。
• 学習済み特徴のt-SNE可視化により、スパムと非スパムメールが明確に分離されており、Enron（非スパム）クラスではより高いばらつきが観察された。
• 転移学習における汎用性が高く、レビュー・ボムや会話クラスタリングなどのラベルが少ないタスクにおいても良好な性能を発揮した。
• 文字レベルのアプローチにより、語彙レベルのトークナイゼーションを必要とせずに、誤字や絵文字を含む非口語的ディス course も効果的に捉えた。
• ハイパーパramータチューニングは一切実施されておらず、最適化を施せばさらなる性能向上が可能であると考えられる。