[論文レビュー] BERTuit: Understanding Spanish language in Twitter through a native transformer

Javier Huertas‐Tato, Alejandro Martín+1 more|arXiv (Cornell University)|Apr 7, 2022

Misinformation and Its Impacts被引用数 4

ひとこと要約

BERTuit は、2億3000万件のツイートを RoBERTa の最適化手法を用いて事前学習したスペイン語専用の BERT ベースのトランスフォーマー モデルであり、Twitter の非公式なスペイン語テキストで優れたパフォーマンスを発揮する。誤情報検出、皮肉認識、著者プロファイリングのタスクにおいて、XLM-RoBERTa や M-BERT といった多言語モデルを上回り、ゼロショット能力が強く、限られたデータでも効果的であることが示された。

ABSTRACT

The appearance of complex attention-based language models such as BERT, Roberta or GPT-3 has allowed to address highly complex tasks in a plethora of scenarios. However, when applied to specific domains, these models encounter considerable difficulties. This is the case of Social Networks such as Twitter, an ever-changing stream of information written with informal and complex language, where each message requires careful evaluation to be understood even by humans given the important role that context plays. Addressing tasks in this domain through Natural Language Processing involves severe challenges. When powerful state-of-the-art multilingual language models are applied to this scenario, language specific nuances use to get lost in translation. To face these challenges we present extbf{BERTuit}, the larger transformer proposed so far for Spanish language, pre-trained on a massive dataset of 230M Spanish tweets using RoBERTa optimization. Our motivation is to provide a powerful resource to better understand Spanish Twitter and to be used on applications focused on this social network, with special emphasis on solutions devoted to tackle the spreading of misinformation in this platform. BERTuit is evaluated on several tasks and compared against M-BERT, XLM-RoBERTa and XLM-T, very competitive multilingual transformers. The utility of our approach is shown with applications, in this case: a zero-shot methodology to visualize groups of hoaxes and profiling authors spreading disinformation. Misinformation spreads wildly on platforms such as Twitter in languages other than English, meaning performance of transformers may suffer when transferred outside English speaking communities.

研究の動機と目的

• 一般向けの多言語言語モデルが、非公式で文脈が豊富なスペイン語のツイッター テキストを理解する上で抱える制限を解消すること。
• 母語話者のスペイン語のツイートの大量データに特化して訓練された、専用のトランスフォーマー モデルの開発により、言語的ニュアンス、皮肉、文化的文脈を捉えること。
• ドメイン最適化されたモデルからの微細な文脈埋め込みを活用して、ツイッターにおける誤情報の検出と分析を強化すること。
• 意味的埋め込みを用いたクラスタリングと次元削減により、誤情報グループの効果的なゼロショット可視化と、誤情報拡散者のプロファイリングを可能にすること。

提案手法

• ツイッター アーカイブから抽出した 2億3000万件のスペイン語ツイートのキュレートされたデータセットを用いて、BERT-base アーキテクチャから BERTuit をスクラッチで事前学習する。
• 文脈表現学習の向上を図るため、動的マスキングと次文予測を含む RoBERTa スタイルの最適化手法を適用する。
• 非公式なスペイン語のツイッター テキストに特化した構文的・意味的パターンを捉えるために、マスクされた言語モデル化を事前学習の目的とする。
• 下流タスクの表現として、最終トランスフォーマー層を介して文脈に依存するツイート埋め込みを生成する。
• 高次元埋め込みを2次元空間に射影するため、次元削減に t-SNE を適用し、誤情報クラスタの可視化分析を実施する。
• ユーザーごとのツイートレベル埋め込みを平均化して、著者プロファイリングと分類のためのユーザー単位の表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 単語言語でツイッターに最適化されたトランスフォーマー モデルは、非公式なソーシャル メディア上のスペイン語を理解する上で、多言語モデルを上回ることができるか？
• RQ2 BERTuit は、最先端の多言語モデルと比較して、スペイン語のツイッター テキストにおける皮肉、嫌がらせ発言、感情分析のタスクでどの程度効果的か？
• RQ3 埋め込みベースのクラスタリングと次元削減を用いて、BERTuit はどの程度、誤情報クラスタのゼロショット可視化を可能にするか？
• RQ4 BERTuit の埋め込みを用いて、誤情報拡散者の分類を高精度で達成するには、1ユーザーあたりどの程度の学習データが必要か？
• RQ5 学習効果的な分類モデルを構築する上で、データの多様性（ユーザー数）とデータ量（1ユーザーあたりのツイート数）のどちらがより重要か？

主な発見

• BERTuit は、嫌がらせ発言検出、皮肉検出、感情分析を含む、スペイン語のツイッターにおける複数の NLP タスクで、XLM-RoBERTa、M-BERT、XLM-T を上回った。
• ユーザー1人あたり1件のツイートのみで、誤情報拡散者の分類において74％を超える正確性を達成し、優れた少データ学習能力を示した。
• トレーニング セットに含まれる異なるユーザー数が、1ユーザーあたりのツイート数よりもモデルの正確性に対してより強い正の相関を示しており、データの多様性の重要性が浮き彫りになった。
• BERTuit 埋め込みの t-SNE 可視化により、フェイクニュース関連コンテンツの意味的なクラスタリングが明確に現れ、誤情報グループの効果的なゼロショット同定が可能になった。
• 最小限のデータからも、スタイル的・意味的パターンを効果的に捉え、稀なツイートサンプルでも強固な著者プロファイリングが可能になった。
• 結果から、ソーシャル メディア データに特化したドメイン固有の事前学習が、一般の多言語モデルと比較して、非公式な言語タスクのパフォーマンスを著しく向上させることを確認した。