[論文レビュー] Covid-Transformer: Detecting COVID-19 Trending Topics on Twitter Using Universal Sentence Encoder

Meysam Asgari-Chenaghlu, Narjes Nikzad-Khasmakhi+1 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Text Analysis Techniques参考文献 19被引用数 19

ひとこと要約

本稿では、意味的表現にUniversal Sentence Encoder (USE)埋め込みを活用し、K-meansクラスタリングおよび深層学習ベースのテキスト要約を経て、Twitter上での流行中のCOVID-19関連トピックを非教師ありで検出する新規フレームワークを提案する。この手法はTF-IDFおよびLDAベースラインを上回り、62%のF1@10を達成しており、文脈を考慮した文の埋め込みによって、優れた意味的クラスタリングとトピックの一貫性を実現している。

ABSTRACT

The novel corona-virus disease (also known as COVID-19) has led to a pandemic, impacting more than 200 countries across the globe. With its global impact, COVID-19 has become a major concern of people almost everywhere, and therefore there are a large number of tweets coming out from every corner of the world, about COVID-19 related topics. In this work, we try to analyze the tweets and detect the trending topics and major concerns of people on Twitter, which can enable us to better understand the situation, and devise better planning. More specifically we propose a model based on the universal sentence encoder to detect the main topics of Tweets in recent months. We used universal sentence encoder in order to derive the semantic representation and the similarity of tweets. We then used the sentence similarity and their embeddings, and feed them to K-means clustering algorithm to group similar tweets (in semantic sense). After that, the cluster summary is obtained using a text summarization algorithm based on deep learning, which can uncover the underlying topics of each cluster. Through experimental results, we show that our model can detect very informative topics, by processing a large number of tweets on sentence level (which can preserve the overall meaning of the tweets). Since this framework has no restriction on specific data distribution, it can be used to detect trending topics from any other social media and any other context rather than COVID-19. Experimental results show superiority of our proposed approach to other baselines, including TF-IDF, and latent Dirichlet allocation (LDA).

研究の動機と目的

• 最新のNLP技術を活用して、Twitter上での流行中のCOVID-19関連トピックを教師なしで検出すること。
• 単語レベルの統計に依存し、意味的意味を捉えられない伝統的なトピックモデリング手法（例：TF-IDFやLDA）の限界を克服すること。
• 深層文脈的文の埋め込みを活用して、意味的に類似したツイートを一貫性のあるクラスタにグループ化するフレームワークを構築すること。
• 深層学習ベースのテキスト要約技術を用いて、各トピッククラスタに対して要約的な要約を生成すること。
• トピックの一貫性、精度、再現率、F1スコアの観点から、TF-IDFおよびLDAベースラインと比較してモデルの性能を評価すること。

提案手法

• 個々のツイートから意味的意味を保持した密度型の文の埋め込みを生成するために、Universal Sentence Encoder (USE) を使用する。
• 文の埋め込みを用いてK-meansクラスタリングを実行し、意味的に類似したツイートを別個のクラスタにグループ化する。
• 各クラスタの要約を簡潔に生成するため、深層学習ベースのテキスト要約モデルを採用する。
• 意味的関連性を測定するために、文の埋め込み間のコサイン類似度を用い、意味のあるクラスタ形成を可能にする。
• クラスタ要約をトピック検出パイプラインに供給し、データから高レベルで解釈可能なトピックを抽出する。
• 精度、再現率、F1スコア（上位10件）を用いて評価し、TF-IDFおよびLDAベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 文の埋め込みに基づくアプローチは、TF-IDFのような従来のbag-of-words手法と比較して、ソーシャルメディアデータにおいてより一貫性があり意味的に明確なトピックを検出できるか？
• RQ2 LDAが確率的単語共起に依存するのに対し、Universal Sentence Encoderを用いることで、トピッククラスタリング性能がどのように向上するか？
• RQ3 深層学習ベースのテキスト要約は、リアルタイムのTwitterデータから導出されたトピッククラスタの解釈性をどの程度向上できるか？
• RQ4 本フレームワークは、COVID-19の文脈を超えて、そのアーキテクチャのおかげで堅牢性と一般化能力を維持できるか？
• RQ5 検出されたトピックとキーワードは、パンデミック初期段階における公的懸念の基準と比較してどう異なるか？

主な発見

• 提案モデルはF1@10スコアで0.62を達成し、TF-IDF（0.35）およびLDA（0.51）を大きく上回り、優れたトピック検出性能を示した。
• LDAと比較して11%以上、TF-IDFと比較して27%以上のF1スコア向上を達成しており、より強固な意味的クラスタリングとトピックの一貫性を示している。
• クラスタ可視化により、明確な意味的中心を持つ、良好に分離された意味的グループが得られたが、TF-IDFが生成するノイズが多く重複するクラスタとは対照的であった。
• 意味的埋め込みの活用により、単語ベースの手法では見逃された重複するトピックや微細な懸念（例：医療従事者への感謝、誤情報）の検出が可能になった。
• クラスタ要約のテキスト要約により、各トピックグループの核心的懸念を的確に反映した簡潔で解釈可能な要約が得られた。
• フレームワークはCOVID-19の文脈を超えて一般化可能であり、特定のデータ分布やドメインに制限されないことが示された。