[論文レビュー] Check square at CheckThat! 2020: Claim Detection in Social Media via Fusion of Transformer and Syntactic Features

Gullal S. Cheema, Sherzod Hakimov+1 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 49被引用数 5

ひとこと要約

本稿では、ソーシャルメディアにおける主張検出とリトリーブのハイブリッドアプローチを提案する。英語およびアラビア語のツイートにおける検証価値の高い主張分類のため、BERT埋め込みと句構造特徴（品詞、固有表現、依存解析）を融合し、検証可能な主張のリトリーブには微調整済みの文埋め込み（sentence-transformer）とKD-searchを活用する。主な貢献は、両タスクで優れた性能を達成したことであり、最良のモデルでは主張リトリーブでMAP@5が0.695、検証価値予測で平均適合率が0.4949を達成した。

ABSTRACT

In this digital age of news consumption, a news reader has the ability to react, express and share opinions with others in a highly interactive and fast manner. As a consequence, fake news has made its way into our daily life because of very limited capacity to verify news on the Internet by large companies as well as individuals. In this paper, we focus on solving two problems which are part of the fact-checking ecosystem that can help to automate fact-checking of claims in an ever increasing stream of content on social media. For the first problem, claim check-worthiness prediction, we explore the fusion of syntactic features and deep transformer Bidirectional Encoder Representations from Transformers (BERT) embeddings, to classify check-worthiness of a tweet, i.e. whether it includes a claim or not. We conduct a detailed feature analysis and present our best performing models for English and Arabic tweets. For the second problem, claim retrieval, we explore the pre-trained embeddings from a Siamese network transformer model (sentence-transformers) specifically trained for semantic textual similarity, and perform KD-search to retrieve verified claims with respect to a query tweet.

研究の動機と目的

• ウイルス的誤情報の文脈において、特にソーシャルメディア投稿内の検証価値のある主張を特定することで、事実検証の自動化を図ること。
• 文脈的特徴と句構造特徴の融合を用いて、英語およびアラビア語のツイートにおける主張検出を向上させること。
• 意味的類似度に基づいて、与えられたクエリツイートに対して、検証済みの主張を正確にリトリーブできる仕組みを提供すること。
• 低リソースおよび多言語環境下での主張リトリーブにおいて、事前学習済みおよび微調整済みトランスフォーマーモデルの有効性を評価すること。

提案手法

• 主張の検証価値予測のため、BERT-baseおよびBERT-largeのBERT埋め込みと、品詞タグ、固有表現、依存関係という句構造特徴を融合する。
• 主成分分析（PCA）による次元削減と分類のため、サポートベクターマシン（SVM）を英語およびアラビア語のデータセットに適用する。
• 意味的テクスト類似度のための事前学習済みシアンセイ・トランスフォーマーモデル（sentence-transformers）を用いて、主張リトリーブのための高密度文埋め込みを生成する。
• 意味的類似度に基づき、大規模コーパスから最も類似した検証済み主張を効率的にリトリーブするために、KD検索（K-Dimensional search）を適用する。
• 1,003件のツイートと10,373件の検証済み主張を含む学習セットを用い、三重損失を用いて文埋め込みモデルを微調整し、197件を検証用に確保する。
• リトリーブ性能を比較するためのアブレーションスタディを実施し、微調整済み単言語BERT、多言語DistilBERT、およびオフザシェルの文埋め込みモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 句構造特徴とBERTベースの文脈的特徴の融合は、多言語ソーシャルメディアコンテンツにおける検証価値予測の性能向上に寄与するか？
• RQ2 微調整済みまたはオフザシェルで使用された場合、異なる事前学習済みトランスフォーマーモデル（単言語対多言語）の主張リトリーブ性能はどのように異なるか？
• RQ3 DistilBERTのような多言語モデルにおける知識蒸留は、主張リトリーブの意味的テキスト類似度タスクにおいて性能を低下させるか、あるいは向上させるか？
• RQ4 KD検索は、意味的埋め込みに基づいて大規模コーパスから検証済み主張をリトリーブする際に有効であるか？

主な発見

• 検証価値予測の最良モデルは、CLSプールド埋め込みと句構造特徴を併用したBERT-baseを用い、アラビア語タスクで平均適合率0.4949を達成した。
• 微調整を行わず使用した多言語DistilBERTモデルは、微調整済み単言語BERTモデルを上回り、主張リトリーブでMAP@5が0.8730を達成した。
• 多言語DistilBERTモデルの微調整は、性能を著しく低下させ、MAP@5が0.532に低下した。これは、知識蒸留プロセスと多言語事前学習の影響による可能性が高い。
• KD検索を削除し、直接コサイン類似度を計算したところ、性能が著しく向上し、MAP@5が0.894に上昇した。これは、KD検索がこのタスクには最適でない可能性を示唆している。
• 主張リトリーブの主要提出では、MAP@5が0.6950を達成し、複数のチーム（マルチモーダルおよびマルチステップ微調整戦略を用いたチームを含む）を上回った。
• 本研究は、オフザシェルの多言語文埋め込みモデルが、主張リトリーブにおける意味的テキスト類似度タスクにおいて非常に効果的であることを示しており、微調整済み単言語BERTモデルをも凌駕している。