[논문 리뷰] CoVERT: A Corpus of Fact-checked Biomedical COVID-19 Tweets

Isabelle Mohr, Amelie Wührl외 1명|arXiv (Cornell University)|2022. 04. 26.

Misinformation and Its Impacts인용 수 11

한 줄 요약

CoVERT는 의료 개념, 관계 및 군중으로부터 확보한 판정 결과(지지/반박/정보 부족)를 포함한 300개의 생물의학적 코로나19 트윗으로 구성된 사실 검증된 코퍼스이다. 실제 세계 증거를 바탕으로 한 검증 결과는 언어 모델이 생성한 증거보다 사실 검증 파이프라인에서 성능을 향상시키며, '정보 부족' 클래스에서의 도전에도 불구하고 예측 성능을 향상시킨다.

ABSTRACT

Over the course of the COVID-19 pandemic, large volumes of biomedical information concerning this new disease have been published on social media. Some of this information can pose a real danger to people's health, particularly when false information is shared, for instance recommendations on how to treat diseases without professional medical advice. Therefore, automatic fact-checking resources and systems developed specifically for the medical domain are crucial. While existing fact-checking resources cover COVID-19-related information in news or quantify the amount of misinformation in tweets, there is no dataset providing fact-checked COVID-19-related Twitter posts with detailed annotations for biomedical entities, relations and relevant evidence. We contribute CoVERT, a fact-checked corpus of tweets with a focus on the domain of biomedicine and COVID-19-related (mis)information. The corpus consists of 300 tweets, each annotated with medical named entities and relations. We employ a novel crowdsourcing methodology to annotate all tweets with fact-checking labels and supporting evidence, which crowdworkers search for online. This methodology results in moderate inter-annotator agreement. Furthermore, we use the retrieved evidence extracts as part of a fact-checking pipeline, finding that the real-world evidence is more useful than the knowledge indirectly available in pretrained language models.

연구 동기 및 목표

• 세부 주석이 달린 사실 검증된 생물의학 중심의 코로나19 트윗 데이터셋이 부족한 문제를 해결하기 위해.
• 소셜 미디어에서 생물의학적 사실 검증을 위한 새로운 군중 기반 방법론을 개발하기 위해.
• 실제 세계 증거(웹 검색 결과)가 언어 모델이 생성한 증거보다 사실 검증 파이프라인 성능을 향상시키는지 평가하기 위해.
• 후속 NLP 작업을 위한 생물의학적 주장, 엔티티 및 관계에 대한 구조적 쿼리 가능성을 제공하기 위해.

제안 방법

• 군중 작업자들이 300개의 코로나19 관련 트윗을 의료 명칭 엔티티(예: 질환, 치료법)와 그 관계(예: 원인, 원인이 아님)로 주석 처리함.
• 각 트윗은 온라인 자료에서 확보한 증거를 바탕으로 사실 검증 판정(지지, 반박, 정보 부족)을 부여받음.
• 증거 확보 및 판정 부여의 일관성과 신뢰성을 확보하기 위해 새로운 군중 기반 워크플로우를 설계함.
• 실제 증거 추출을 사용하여 사실 검증 파이프라인을 피지컬러닝하고, BERT가 생성한 증거를 사용한 베이스라인과 성능 비교함.
• 파이프라인은 주장-증거 쌍을 기반으로 판정을 예측하기 위해 다층 퍼셉트론(MLP) 분류기를 사용함.
• 사전 학습된 언어 모델 표현에 내재된 암묵적 지식과 비교하여 증거 추출물이 함의 기반 분류 성능 향상에 기여하는지 탐색 분석 수행함.

실험 결과

연구 질문

• RQ1 군중 기반 접근 방식을 통해 소셜 미디어의 생물의학적 주장을 사실 검증 레이블과 증거로 신뢰성 있게 생성할 수 있는가?
• RQ2 실제 세계 증거를 사용할 때와 언어 모델이 생성한 증거를 사용할 때 사실 검증 파이프라인의 성능는 어떻게 비교되는가?
• RQ3 BERT에 내장된 암묵적 지식과 비교해 실제 증거 추출물이 판정 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 증거의 분포와 클래스 불균형이 모델 일반화에 영향을 미치는가, 특히 '정보 부족' 클래스에서의 영향은 어떠한가?
• RQ5 CoVERT에 주석 처리된 엔티티와 관계는 생물의학 온톨로지에 연결하여 지식 기반 통합에 효과적으로 활용될 수 있는가?

주요 결과

• 군중 기반 사실 검증 방법론은 중간 정도의 평가자 간 일致도를 달성하여 소셜 미디어의 생물의학적 주장을 주석 처리하는 데 있어 신뢰성을 보여줌.
• 군중 작업자로부터 확보한 실제 세계 증거 추출물은 사실 검증 파이프라인 성능을 향상시켰으며, MLP-Evidence 모델은 트윗 + 증거 쌍에서 F1 스코어 0.69를 기록함.
• BERT가 생성한 증거를 사용한 파이프라인(MLP-FEVER)은 오락적 또는 정보가 부족한 증거 생성으로 인해 성능이 열 劣화되어 F1 스코어 0.46을 기록함.
• '정보 부족' 클래스는 여전히 도전 과제였으며, 이 레이블에 대해 훈련 중 증거가 제공되지 않아 모델 학습에 제한을 초래함.
• CoVERT 증거로의 피지컬러닝을 통해 '지지' 예측 정확도는 33개에서 55개로 증가했지만, 15개의 오진 양성 결과가 발생함.
• 문장 수준의 증거 추출물은 더 풍부한 함의 기능을 제공할 수 있으며, 향후 파이프라인 성능 향상에 기여할 수 있음.