[論文レビュー] Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers

Fedor Vitiugin, Carlos Castillo|arXiv (Cornell University)|Apr 21, 2022

Public Relations and Crisis Communication被引用数 5

ひとこと要約

本論文では、多言語トランスフォーマーを用いて、多言語の危機関連ソーシャルメディアを対象に、クエリベースの要約フレームワーク「CLiQS-D-CM」を提案する。このフレームワークは、LASER埋め込みを用いて多言語間の検索を実施し、T5を用いて要約を生成することで、多言語の危機投稿から高品質で一貫性のある要約を英語で生成する。評価では、緊急対応専門家が、最先端手法よりも56–64％の割合で本手法の要約を好む結果が得られ、要約の焦点、構成、冗長性の低減が向上した。

ABSTRACT

Relevant and timely information collected from social media during crises can be an invaluable resource for emergency management. However, extracting this information remains a challenging task, particularly when dealing with social media postings in multiple languages. This work proposes a cross-lingual method for retrieving and summarizing crisis-relevant information from social media postings. We describe a uniform way of expressing various information needs through structured queries and a way of creating summaries answering those information needs. The method is based on multilingual transformers embeddings. Queries are written in one of the languages supported by the embeddings, and the extracted sentences can be in any of the other languages supported. Abstractive summaries are created by transformers. The evaluation, done by crowdsourcing evaluators and emergency management experts, and carried out on collections extracted from Twitter during five large-scale disasters spanning ten languages, shows the flexibility of our approach. The generated summaries are regarded as more focused, structured, and coherent than existing state-of-the-art methods, and experts compare them favorably against summaries created by existing, state-of-the-art methods.

研究の動機と目的

• 大規模な災害発生時における、ソーシャルメディアから多言語の危機関連情報を抽出・要約する課題に対処すること。
• 言語固有のリソースを必要とせず、複数言語における情報ニーズを満たす柔軟でクエリベースの手法を開発すること。
• 要約が抽象的かつ一貫性があり、重複がなく、緊急管理に有用であることを保証すること。
• クラウドソーシングと緊急管理専門家の両方を用いた評価を通じて、実用的関連性と品質を保証すること。

提案手法

• 本手法は、ある言語（例：英語）で記述された構造化クエリを用いて、多言語の文書埋め込み（LASER）を介して、複数言語の危機関連ソーシャルメディア投稿を検索する。
• 関連するメッセージは自然言語処理技術を用いてクラスタリングされ、多様化処理が施され、冗長性を低減し、情報カバレッジを向上させる。
• 危機関連コンテンツで微調整されたT5トランスフォーマー・モデルを用いて、抽象的要約が生成される。
• 本システムはクロスリンガル要約をサポートする：クエリは1つの言語で記述されるが、抽出された文や要約は、サポートされている言語のいずれでも出力可能である。
• 文の埋め込み（LASER）により、93言語でゼロショットの多言語間マッチングが可能であり、品詞タグ付けと依存構文解析は50言語に限定される。
• 本アプローチはモジュール型かつ拡張可能であり、他のプラットフォーム（例：Facebook、Reddit）への統合や、将来的な多言語クエリおよび位置情報に配慮した要約のサポートが可能である。

Figure 1: Overview of our cross-lingual information summarization framework.

実験結果

リサーチクエスチョン

• RQ1 多言語埋め込みを用いて、クエリベースのクロスリンガル手法が、複数言語にまたがる危機関連ソーシャルメディアコンテンツを効果的に検索できるか。
• RQ2 T5が生成する抽象的要約は、最先端手法と比較して、一貫性、焦点、情報量の観点でどの程度優れているか。
• RQ3 緊急管理専門家は、本手法が生成する要約を、既存の最先端システムの要約よりも好むか。
• RQ4 本手法は、危機要約における冗長性をどの程度低減し、情報密度を向上させられるか。
• RQ5 異なる災害イベントや言語、特にリソースが乏しいまたは多言語的な文脈において、性能にどのような差が生じるか。

主な発見

• 緊急管理専門家は、CLiQS-D-CMが生成する要約を、Nafiのものよりも63.6％の割合で好んだ。また、LSTM+LASER+T5のものよりも55.8％の割合で好んだ。
• 専門家は、CLiQS-D-CMの要約が、正確性が高く、構成が明確で、重複が少なく、事実誤認が少ないとの報告を行った。
• 本手法は、一貫性と焦点性が高く、評価者らは、ベースライン手法と比較して構成と明確性が向上していると指摘した。
• ザグレブ地震のイベントでは性能が低く、リソースが乏しい、またはカバーが不十分な言語の文脈で課題が生じる可能性があると示唆された。
• クラウドソーシングによる評価では、CLiQS-D-CMの要約が、情報量、構成、読みやすさの観点で、既存の手法よりも高い評価を得た。
• 本システムは、強力なクロスリンガル一般化性能を示し、5つの主要な災害において10ヶ国語のコンテンツを効果的に要約した。

Figure 2: Combining the transformer embeddings with morphological, syntactic, message-specific features and query similarity features using deep MLP