[論文レビュー] What Are People Asking About COVID-19? A Question Classification Dataset

Jerry Wei, C. F. Huang+2 more|arXiv (Cornell University)|May 26, 2020

Topic Modeling参考文献 16被引用数 27

ひとこと要約

本稿では、13のソースから収集した1,690件のCOVID-19関連質問を、15のカテゴリと207のクラスタにアノテートしたCovid-Qというデータセットを紹介する。質問分類ではBERTベースのベースラインが15カテゴリ（1カテゴリあたり20例）で58.1%の正確度を達成し、質問クラスタリングでは三重損失を用いた手法で49.5%の正確度を示しており、パンデミック時の情報検索およびモデル評価を目的としたNLPシステムのリソースを提供する。

ABSTRACT

We present COVID-Q, a set of 1,690 questions about COVID-19 from 13 sources, which we annotate into 15 question categories and 207 question clusters. The most common questions in our dataset asked about transmission, prevention, and societal effects of COVID, and we found that many questions that appeared in multiple sources were not answered by any FAQ websites of reputable organizations such as the CDC and FDA. We post our dataset publicly at https://github.com/JerryWeiAI/COVID-Q. For classifying questions into 15 categories, a BERT baseline scored 58.1% accuracy when trained on 20 examples per category, and for a question clustering task, a BERT + triplet loss baseline achieved 49.5% accuracy. We hope COVID-Q can help either for direct use in developing applied systems or as a domain-specific resource for model evaluation.

研究の動機と目的

• パンデミック期における一般の人々の情報ニーズをより良く理解するために、現実世界の公的質問を収集・アノテートすること。
• 公的健康危機の文脈において質問理解および検索に焦点を当てたNLPモデルのトレーニングと評価に役立つ構造化されたデータセットを作成すること。
• 一般フォーラムにおける頻出質問と、CDC や FDA などの信頼できる組織が提供する公式FAQウェブサイトのカバレッジの間のギャップを埋めること。
• タイムリーで現実的な健康関連の質問セットを用いたドメイン特化型NLPモデルの評価ベンチマークを提供すること。

提案手法

• CDC や FDA の公式FAQページ、Quora や Yahoo Answers などのクラウドソーシングプラットフォームを含む13のソースから、1,690件の質問を収集した。
• 質問を、伝播、予防、社会的影響などの15の意味的カテゴリに分類し、同一の意図を示す質問を207のクラスタにグループ化した。
• 曖昧な質問、意味のない質問、場所特異的・時刻特異的な質問を削除することでデータクリーニングを実施し、言語的一致性を高め、重複を低減した。
• 2つのタスクのためのBERTベースのモデルを訓練した：(1) pooled BERT埋め込みを用いたSVMおよびk-NNによる質問カテゴリ分類、(2) BERT特徴量を入力とする2層のニューラルネットワークと三重損失を用いた質問クラスタリング。
• クラスタリングには70/30のトレーニング・テスト分割を、分類には300/668/238の分割（実際のテストセットと生成されたテストセット）を用い、小規模データでの性能向上を図るためにデータ拡張を実施した。
• 正確度を評価指標として用い、クラスタリングタスクでは既知のクラスタと新しい質問を区別するためのしきい値処理を実施した。

実験結果

リサーチクエスチョン

• RQ1 人々がCOVID-19について最も頻繁に質問するタイプは何か、またその内容はソースによってどのように異なるか？
• RQ2 CDC や FDA などの公式FAQウェブサイトは、一般フォーラムで頻出する質問をどの程度カバーしているか？
• RQ3 限定的なラベル付きデータ（1カテゴリあたり20例）を用いた場合、BERTベースのモデルは15の意味的カテゴリにCOVID-19質問を分類する際にどの程度有効か？
• RQ4 BERT埋め込みに対する三重損失によるファインチューニングは、意図一致のためのゼロショットまたはフェイワショット質問クラスタリング性能を向上させるか？
• RQ5 データ拡張およびモデルアーキテクチャの選択は、リソースが限られた質問分類およびクラスタリングタスクの性能にどのように影響するか？

主な発見

• 最も頻度の高かった質問カテゴリは、伝播（27件）、社会的影響（23件）、予防（20件）、症状（12件）であり、人々の感染リスクや拡散への関心が強いことを示している。
• 78%以上の質問が複数の質問を含むクラスタにグループ化されており、一般の質問においても著しい重複と意図の類似性が確認された。
• 公式FAQページが広範に整備されているにもかかわらず、一般ソースからの頻出質問の多くがCDC や FDA などの信頼できる組織のFAQではカバーされていなかった。
• BERT + SVMベースラインは、カテゴリあたり20件のトレーニング例のみで質問分類タスクで58.1%の正確度を達成し、少量データ環境下でも実現可能性を示した。
• BERT + 三重損失モデルは質問クラスタリングタスクで49.5%の正確度を達成し、データ拡張により性能が向上した。
• 混同行列の結果、'予防'や'社会的対応'といったカテゴリは頻繁に誤分類されており、一般の質問において意味的曖昧性や重複があることが示された。