[論文レビュー] CORD19STS: COVID-19 Semantic Textual Similarity Dataset

Xiao Guo, Hengameh Mirzaalian+3 more|arXiv (Cornell University)|Jul 5, 2020

Topic Modeling参考文献 39被引用数 20

ひとこと要約

CORD19STS は、CORD-19 コーパスから抽出した 13,710 組の文のペアを用いたドメイン特化型意味的テクスト類似度（STS）データセットを提供する。これらはクラウドソーシングを用いて類似度レベル（関連、やや関連、関連なし）にラベル付けされたものである。このデータセットは、類似度スコアを均衡させるために微調整された BERT に類似したモデル（Sen-SCI-CORD19-BERT）を用いて構築されており、COVID-19 情報検索や医療対話システムにおける NLP モデルの訓練・評価を向上させることを目的としている。

ABSTRACT

In order to combat the COVID-19 pandemic, society can benefit from various natural language processing applications, such as dialog medical diagnosis systems and information retrieval engines calibrated specifically for COVID-19. These applications rely on the ability to measure semantic textual similarity (STS), making STS a fundamental task that can benefit several downstream applications. However, existing STS datasets and models fail to translate their performance to a domain-specific environment such as COVID-19. To overcome this gap, we introduce CORD19STS dataset which includes 13,710 annotated sentence pairs collected from COVID-19 open research dataset (CORD-19) challenge. To be specific, we generated one million sentence pairs using different sampling strategies. We then used a finetuned BERT-like language model, which we call Sen-SCI-CORD19-BERT, to calculate the similarity scores between sentence pairs to provide a balanced dataset with respect to the different semantic similarity levels, which gives us a total of 32K sentence pairs. Each sentence pair was annotated by five Amazon Mechanical Turk (AMT) crowd workers, where the labels represent different semantic similarity levels between the sentence pairs (i.e. related, somewhat-related, and not-related). After employing a rigorous qualification tasks to verify collected annotations, our final CORD19STS dataset includes 13,710 sentence pairs.

研究の動機と目的

• COVID-19 領域に特化した STS データセットの不足に起因する、医療情報検索や診断システムにおける NLP モデルの性能制限を是正すること。
• COVID-19 領域に特化した、人間による意味的類似度レベルのラベル付けがなされた高品質でバランスの取れた文のペアデータセットの作成。
• 微調整された BERT に類似したアーキテクチャ（Sen-SCI-CORD19-BERT）を活用し、データ収集段階で類似度スコアを事前評価・均衡化することで、STS モデルの一般化性能を向上させること。
• アマゾン Mechanical Turk における厳密な資格試験と複数の作業者によるラベリング（1ペアあたり5名）を実施することで、ラベリングの信頼性を確保すること。
• パンデミック下の質問応答、対話システム、意味的検索などの後続応用を支援するベンチマークデータセットを提供すること。

提案手法

• 多様なサンプリング戦略を用いて CORD-19 データセットから 100 万組の文のペアを生成し、多様な意味的コンテンツをカバーすることを確保した。
• 各文のペアの意味的類似度スコアを予測するため、BERT に類似したモデル（Sen-SCI-CORD19-BERT）を微調整し、類似度レベル間の分布を均衡化した。
• 初期の 100 万組のペアから、モデルが予測したスコアを基に 32,000 組のペアを選択し、関連・やや関連・関連なしの各カテゴリに均等に代表されるようにした。
• 1 文のペアあたり 5 名のアマゾン Mechanical Turk 作業者によるラベリングを実施し、3段階スケール（関連、やや関連、関連なし）で類似度を評価した。
• 低品質なラベラーをフィルタリングし、高水準のラベリングの信頼性と一貫性を確保するため、厳格な資格試験を実施した。
• 最終的なデータセットは、5 名の作業者によるコンSENSUSに基づくラベルを有する 13,710 組の高品質かつバランスの取れた文のペアから構成される。

実験結果

リサーチクエスチョン

• RQ1 微調整された BERT に類似したモデルが、大規模かつドメイン特化型の STS データセットにおける意味的類似度レベルの分布を効果的に均衡化できるか。
• RQ2 科学的 COVID-19 文献の文脈において、クラウドソーシングによる類似度ラベリングの信頼性と一貫性はどの程度高いか。
• RQ3 ドメイン特化型の STS データセットが、医療情報検索や対話システムにおける NLP モデルの性能をどの程度向上させるか。
• RQ4 生物学的ドメインにおける STS タスクにおいて、最も代表的で多様性に富んだ文のペアを生成するサンプリング戦略は何か。
• RQ5 ニューラルスコアリングと人間ラベリングを組み合わせたハイブリッド手法が、完全自動または完全手動の方法よりも優れた品質の STS データセットを生み出せるか。

主な発見

• 最終的な CORD19STS データセットは、5 名の作業者によるコンセンサスに基づくラベルを有する 13,710 組の文のペアを含み、複数のラベラーによる合意と資格試験により高い信頼性を確保している。
• Sen-SCI-CORD19-BERT を用いた事前スコアリングと類似度レベルの均衡化により、ランダムサンプリングに比べ、3 つの類似度カテゴリ間でより均等な分布が得られた。
• データセットは初期の 100 万組の文のペアから構築されており、モデルによる誘導選択により、品質を維持したままカバレッジを大幅に拡大した。
• 資格試験とコンセンサスラベリングによる検証を通じて、ラベリングプロセスは高い作業者間一致度を達成しており、データセットの整合性が保証された。
• このデータセットは COVID-19 領域に特化しており、一般ドメインのデータセットと比較して、医療 NLP 応用における STS モデルの性能向上に寄与する。
• CORD19STS はパンデミック関連の科学的文献を対象とした STS モデルの訓練・評価のベンチマークを提供し、情報検索や臨床意思決定支援といった重要な応用を支援する。