[論文レビュー] Extracting a Knowledge Base of COVID-19 Events from Social Media

Shi Zong, Ashutosh Baheti+2 more|arXiv (Cornell University)|Jun 3, 2020

Misinformation and Its Impacts参考文献 32被引用数 4

ひとこと要約

本論文では、5つのイベントタイプ（陽性・陰性検査、死亡、検査拒否、虚偽の治療法・予防法の主張）の間で28の細分化されたスロットを含む、1万件のCOVID-19関連ツイートを手作業でアノテートしたコーパスを提示する。このコーパスを微調整したBERTベースの分類器を用いて、数百万件のツイートから構造化されたイベントを抽出し、『CovidKB』と呼ばれる知識ベースを構築した。この知識ベースは、『ヒューストンにいるどの組織に陽性反応を示した従業員がいるか？』といった高精度で複雑なクエリを可能にする。

ABSTRACT

In this paper, we present a manually annotated corpus of 10,000 tweets containing public reports of five COVID-19 events, including positive and negative tests, deaths, denied access to testing, claimed cures and preventions. We designed slot-filling questions for each event type and annotated a total of 31 fine-grained slots, such as the location of events, recent travel, and close contacts. We show that our corpus can support fine-tuning BERT-based classifiers to automatically extract publicly reported events and help track the spread of a new disease. We also demonstrate that, by aggregating events extracted from millions of tweets, we achieve surprisingly high precision when answering complex queries, such as "Which organizations have employees that tested positive in Philadelphia?" We will release our corpus (with user-information removed), automatic extraction models, and the corresponding knowledge base to the research community.

研究の動機と目的

• COVID-19パンデミック期におけるソーシャルメディアから、タイムリーで詳細な公衆衛生情報の抽出に取り組む。
• 公式データにはしばしば遅延があり、個人レベルや組織レベルの詳細が欠落しているという限界を克服する。
• 未発表の危機に向けた教師ありイベント抽出を支援する高品質で言語的に豊かなデータセットを構築する。
• Twitterで報告された公的イベントに対して、複雑な構造化クエリを可能にするスケーラブルな知識ベースを構築する。
• 疫学研究者、ジャーナリスト、政策立案者らのための公衆衛生監視、誤情報の追跡、意思決定支援を支援する。

提案手法

• 陽性検査、陰性検査、検査拒否、死亡、虚偽の治療法・予防法の主張の5つのイベントタイプを設計する。
• 場所、渡航歴、密接接触者など28の細分化された意味的スロットをカバーするスロット入力用の質問を策定し、人的アノテーションを支援する。
• 各スロットに対してスパンレベルのラベル付けを実施し、1万件のツイートを収集・アノテートすることで、言語的正確性と一貫性を確保する。
• アノテート済みコーパス上で微調整したBERTベースの系列分類モデルを用いて、構造化されたイベント情報を自動抽出する。
• 広く議論されているイベントにおいて冗長性を活用することで、数百万件のツイートからの抽出を集約し、精度を向上させる。
• 抽出されたイベントを、自然言語に類似した構文を用いた複雑な構造化クエリを可能にする検索可能知識ベース（CovidKB）にインデックス化する。

実験結果

リサーチクエスチョン

• RQ1 手作業でアノテートされた細分化されたソーシャルメディアツイートコーパスは、構造化イベント抽出のためのBERTベースのモデルの効果的訓練を可能にするか？
• RQ2 大規模なTwitterデータからの抽出を集約することで、現実世界の公衆衛生イベントを高精度に同定できるか、その範囲はどの程度か？
• RQ3 得られた知識ベースは、場所、組織、露出歴といった要因を含む複雑なマルチファクト構造化クエリを高精度で回答できるか？
• RQ4 治療法や予防法に関する主張を検出・インデックス化するシステムの有効性はどの程度か？これは誤情報の追跡に役立つ可能性がある。
• RQ5 この手法は、自然災害や今後の感染症の流行といった他の未発表の危機に対しても、迅速に適応可能か？

主な発見

• コーパスはスロットF1スコアが0.3から0.9の範囲にあり、大多数が0.5を超えており、イベント抽出のための細分化されたアノテーションの実現可能性を示している。
• 数百万件のツイートからの抽出を集約することで、フィラデルフィアで陽性反応を示した従業員がいる組織を特定するような複雑なクエリに対しても高精度な回答が可能になる。
• 知識ベースCovidKBは、2年間分のTwitterデータから抽出された420万件以上のイベントをインデックス化しており、リアルタイムで構造化クエリを実行可能である。
• システムは、ヒドロキシクロロアルやマスクの継続的な言及、フロボキサミンやモノクローナル抗体といったワクチンや薬への注目が高まっていることなど、治療に関する公的議論の変化を効果的に検出・追跡している。
• 本システムは、治療法を推進する代表的な人物（例：ドナルド・トランプ、ビル・ゲイツ）、組織（例：CDC、ファイザー）、懸念を呼ぶ人物（例：ジム・バックラー）を同定しており、誤情報の伝播経路を特定する手がかりを提供している。
• サンプリングバイアス（公開ツイートの1％）や非標準的口語の処理に限界があるものの、本システムは公衆衛生監視および危機対応において強力な実用性を示している。