[論文レビュー] TweetBERT: A Pretrained Language Representation Model for Twitter Text Analysis

Mohiuddin Md Abdul Qudar, Vijay Mago|arXiv (Cornell University)|Oct 17, 2020

Topic Modeling参考文献 46被引用数 29

ひとこと要約

この論文では、数百万件のツイートを事前学習したドメイン特化型言語表現モデルであるTweetBERTを紹介する。感情分析や分類タスクにおける微調整によって、TweetBERTv1およびTweetBERTv2は、Twitterデータセット全体で平均して標準的なBERTモデルを7%以上上回り、口語的・口語的で非公式なソーシャルメディア言語の処理において顕著な向上を示している。

ABSTRACT

Twitter is a well-known microblogging social site where users express their views and opinions in real-time. As a result, tweets tend to contain valuable information. With the advancements of deep learning in the domain of natural language processing, extracting meaningful information from tweets has become a growing interest among natural language researchers. Applying existing language representation models to extract information from Twitter does not often produce good results. Moreover, there is no existing language representation models for text analysis specific to the social media domain. Hence, in this article, we introduce two TweetBERT models, which are domain specific language presentation models, pre-trained on millions of tweets. We show that the TweetBERT models significantly outperform the traditional BERT models in Twitter text mining tasks by more than 7% on each Twitter dataset. We also provide an extensive analysis by evaluating seven BERT models on 31 different datasets. Our results validate our hypothesis that continuously training language models on twitter corpus help performance with Twitter.

研究の動機と目的

• 一般ドメインの言語モデル（例：BERT）を口語的・口語的なTwitterテキストに適用する際の課題に対処すること。
• 特にTwitterに特化した、ソーシャルメディアの独自な言語的パターンに適合したドメイン特化型言語表現モデルの開発。
• ツイートコーパスを対象にした特化型事前学習を通じて、感情分析やテキスト分類などのTwitter固有のNLPタスクにおけるパフォーマンスの向上。
• 一般、生物医学、科学、およびTwitterドメインを含む31の多様なデータセットにおいて、TweetBERTを7種類のBERT変種と比較して包括的な評価を実施。
• 再現可能性とソーシャルメディアNLP研究分野における広範な採用を支援するため、事前学習済み重みとソースコードの公開。

提案手法

• 大規模なクリーニング済み匿名ツイートコーパスを、ビッグデータ分析プラットフォームを介して収集し、その上でTweetBERTの2つのバージョン（TweetBERTv1（BERTから初期化）、TweetBERTv2（ALBERTから初期化））を事前学習。
• BERTと同一の事前学習目的（マスク言語モデルと次文予測）を採用し、ツイートの言語的スタイルに適応。
• TweetBERTv2では、BERTとSciBERT（SciVocab）の語彙を統合することで、科学的・技術的ツイート分析のパフォーマンスを向上。
• 感情分析（例：Twitter Sarcasm、Sentiment140）、性別分類、政治的ツイート分類を含む、下流のTwitterタスクでモデルを微調整。
• 標準的な微調整手順を用いて、トランスファー学習により事前学習済みモデルを特定の分類タスクに適応。
• 31のデータセットでパフォーマンスを評価し、精度とマージナルパcentage gain（増加率）の指標を用いて、TweetBERTをBERT、BioBERT、SciBERT、RoBERTa、ALBERTと比較。

実験結果

リサーチクエスチョン

• RQ1 Twitterコーパスで特化して事前学習された言語モデルは、Twitterテキスト分析タスクにおいて一般ドメインのBERTモデルを顕著に上回るのか？
• RQ2 Twitterデータで継続的（continued）事前学習を実施した場合、非Twitterドメインを含む多様なNLPベンチマークでパフォーマンスにどのような影響を与えるか？
• RQ3 モデル初期化（BERT対ALBERT）および語彙設計（BaseVocab 対 SciVocab）が、ツイート理解におけるパフォーマンスに与える影響は何か？
• RQ4 TweetBERTモデルは、バイオメディカルや科学的テキストなど、Twitter以外のドメインにもどの程度一般化可能か？
• RQ5 さまざまな種類のNLPタスクおよびデータセットにおいて、既存のBERT変種と比較してTweetBERTのマージナルパフォーマンス向上率はどの程度か？

主な発見

• TweetBERTv1およびTweetBERTv2は、すべてのTwitterデータセットで、標準的なBERT、BioBERT、SciBERT、RoBERTa、ALBERTを平均して7%以上上回っている。
• TweetBERTv2は、TwitterデータセットでALBERTに対して167.17%のマージナルパフォーマンス向上（合計精度向上率）を達成している。
• Twitterの感情分析タスクにおいて、TweetBERTv2はSentiment140データセットで95.18%の精度を達成し、BERT（85.63%）とALBERT（90.59%）を上回っている。
• TweetBERTv1は、論文分野データセットでBERTに対して22.13%のマージナル改善を示しており、科学的テキスト分類において優れたパフォーマンスを示している。
• TweetBERTモデルは一般化能力を示しており、いくつかのバイオメディカルデータセットでBioBERTを上回っていることから、クロスドメインの転送可能性が示唆されている。
• TweetBERTv2へのSciVocabの統合により、ツイート内に含まれる科学的・技術的コンテンツの分析が効果的に行えるようになり、科学的構文解析および分類タスクにおけるパフォーマンスが向上している。