[논문 리뷰] CORD19STS: COVID-19 Semantic Textual Similarity Dataset

Xiao Guo, Hengameh Mirzaalian외 3명|arXiv (Cornell University)|2020. 07. 05.

Topic Modeling참고 문헌 39인용 수 20

한 줄 요약

CORD19STS는 CORD-19 코퍼스에서 추출한 13,710개의 문장 쌍에 대해 도메인 특화된 의미적 텍스트 유사도(STS) 데이터셋을 제공하며, 커뮤니티 기반으로 유사도 수준(관련, 약간 관련, 관련 없음)을 주석 처리한 것입니다. 이 데이터셋은 유사도 수준 간 균형을 이루기 위해 미세튜닝된 BERT 유사 모델(Sen-SCI-CORD19-BERT)을 사용하여 구축되었으며, 코로나19 정보 검색 및 의료 대화 시스템을 위한 NLP 모델의 향상된 훈련과 평가를 가능하게 합니다.

ABSTRACT

In order to combat the COVID-19 pandemic, society can benefit from various natural language processing applications, such as dialog medical diagnosis systems and information retrieval engines calibrated specifically for COVID-19. These applications rely on the ability to measure semantic textual similarity (STS), making STS a fundamental task that can benefit several downstream applications. However, existing STS datasets and models fail to translate their performance to a domain-specific environment such as COVID-19. To overcome this gap, we introduce CORD19STS dataset which includes 13,710 annotated sentence pairs collected from COVID-19 open research dataset (CORD-19) challenge. To be specific, we generated one million sentence pairs using different sampling strategies. We then used a finetuned BERT-like language model, which we call Sen-SCI-CORD19-BERT, to calculate the similarity scores between sentence pairs to provide a balanced dataset with respect to the different semantic similarity levels, which gives us a total of 32K sentence pairs. Each sentence pair was annotated by five Amazon Mechanical Turk (AMT) crowd workers, where the labels represent different semantic similarity levels between the sentence pairs (i.e. related, somewhat-related, and not-related). After employing a rigorous qualification tasks to verify collected annotations, our final CORD19STS dataset includes 13,710 sentence pairs.

연구 동기 및 목표

• 코로나19 분야의 도메인 특화된 STS 데이터셋 부족 문제를 해결하여 의료 정보 검색 및 진단 시스템에서 NLP 모델의 성능 향상을 도모합니다.
• 코로나19 도메인에 특화된 인간 주석 처리된 의미적 유사도 수준을 가진 고품질이고 균형 잡힌 문장 쌍 데이터셋을 구축합니다.
• 미세튜닝된 BERT 유사 아키텍처(Sen-SCI-CORD19-BERT)를 활용해 사전 유사도 점수를 산출하고 데이터 수집 과정에서 유사도 수준을 균형 있게 조정함으로써 STS 모델의 일반화 능력을 향상시킵니다.
• 아마존 메카니컬 터크에서의 철저한 자격 테스트와 다수의 작업자(문장 쌍당 5명) 라벨링을 통해 주석의 신뢰성을 확보합니다.
• 질의 응답, 대화 시스템, 의미적 검색과 같은 응용 분야를 지원하는 기준 데이터셋을 제공합니다. 이는 코로나19 패닉 기간 동안의 맥락에서 적용 가능합니다.

제안 방법

• 다양한 샘플링 전략을 사용하여 CORD-19 데이터셋에서 100만 개의 문장 쌍을 생성하여 다양한 의미적 내용을 포함하도록 보장합니다.
• 각 문장 쌍의 의미적 유사도 점수를 예측하기 위해 BERT 유사 모델인 Sen-SCI-CORD19-BERT를 미세튜닝하여 유사도 수준 간 균형을 이루도록 합니다.
• 초기 100만 개의 문장 쌍 중에서 모델의 예측 점수를 기반으로 32,000개의 문장 쌍을 선별하여 관련, 약간 관련, 관련 없음 카테고리 간 균형 잡힌 표현을 확보합니다.
• 문장 쌍당 5명의 아마존 메카니컬 터크 작업자로부터 주석을 수집하여 세 단계 척도(관련, 약간 관련, 관련 없음)로 유사도를 라벨링합니다.
• 저품질 주석자들을 걸러내고 주석의 신뢰성과 일관성을 확보하기 위해 철저한 자격 테스트를 적용합니다.
• 최종적으로 다섯 명의 주석자 간 공감대 기반 라벨을 가진 13,710개의 고품질 균형 잡힌 문장 쌍으로 구성된 데이터셋을 확보합니다.

실험 결과

연구 질문

• RQ1 미세튜닝된 BERT 유사 모델이 대규모 도메인 특화 STS 데이터셋에서 의미적 유사도 수준의 분포를 효과적으로 균형 있게 조정할 수 있는가?
• RQ2 과학적 코로나19 문헌 맥락에서 의미적 유사도에 대한 커뮤니티 기반 주석의 신뢰성과 일관성은 어느 정도인가?
• RQ3 도메인 특화된 STS 데이터셋이 의료 정보 검색 및 대화 시스템에서 NLP 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 생물의학 분야의 STS 작업에서 가장 대표적이고 다양한 문장 쌍을 제공하는 샘플링 전략은 무엇인가?
• RQ5 신경망 점수와 인간 주석을 조합한 하이브리드 접근 방식이 순수 자동화 또는 순수 수동 방법보다 더 높은 품질의 STS 데이터셋을 생성할 수 있는가?

주요 결과

• 최종 CORD19STS 데이터셋은 인간 주석 처리된 유사도 라벨을 가진 13,710개의 문장 쌍을 포함하며, 다수 주석자 공감대와 자격 테스트를 통해 높은 신뢰성을 확보합니다.
• Sen-SCI-CORD19-BERT를 사용해 사전 점수를 산출하고 유사도 수준을 균형 있게 조정함으로써, 무작위 샘플링 대비 세 가지 유사도 카테고리 간 분포가 더 균형 잡혀 있음을 확인했습니다.
• 초기 100만 개의 문장 쌍에서 유도된 데이터셋은 품질을 유지하면서도 커버리지가 크게 확장되었습니다. 이는 모델 기반 선택 전략 덕분입니다.
• 주석 과정에서 높은 이면 주석자 간 일致도를 달성하였으며, 자격 테스트와 공감대 라벨링을 통해 데이터셋의 무결성을 검증했습니다.
• 이 데이터셋은 코로나19 도메인에 특화되어 있어 일반 도메인 데이터셋 대비 의료 NLP 응용 프로그램에서 STS 모델의 성능 향상에 더 유리합니다.
• CORD19STS는 패닉 기간 동안의 과학적 문헌 맥락에서 STS 모델의 훈련 및 평가를 위한 기준 데이터셋을 제공하며, 정보 검색 및 임상 의사결정 지원과 같은 핵심 응용 분야를 지원합니다.