[논문 리뷰] QMUL-SDS at CheckThat! 2020: Determining COVID-19 Tweet Check-Worthiness Using an Enhanced CT-BERT with Numeric Expressions

Rabab Alkhalifa, Theodore Yoong외 3명|arXiv (Cornell University)|2020. 08. 30.

Misinformation and Its Impacts참고 문헌 14인용 수 9

한 줄 요약

이 논문은 COVID-Twitter-BERT(CT-BERT)와 숫자 표현의 전용 토큰화를 통합한 CNN 기반 모델을 제안하여 코로나19 트윗의 확인 필요성 탐지 성능을 향상시킨다. 최고의 시스템은 CLEF 2020 CheckThat! 공동 과제에서 4위를 기록하였으며, 숫자 표현을 특수 토큰으로 취급하는 것이 성능 향상에 크게 기여함을 보여주었고, PHEME의 루머 데이터를 활용한 데이터 증강은 전반적인 F1 점수 향상 없이도 일반화 능력을 향상시켰다.

ABSTRACT

This paper describes the participation of the QMUL-SDS team for Task 1 of the CLEF 2020 CheckThat! shared task. The purpose of this task is to determine the check-worthiness of tweets about COVID-19 to identify and prioritise tweets that need fact-checking. The overarching aim is to further support ongoing efforts to protect the public from fake news and help people find reliable information. We describe and analyse the results of our submissions. We show that a CNN using COVID-Twitter-BERT (CT-BERT) enhanced with numeric expressions can effectively boost performance from baseline results. We also show results of training data augmentation with rumours on other topics. Our best system ranked fourth in the task with encouraging outcomes showing potential for improved results in the future.

연구 동기 및 목표

• 허위정보를 억제하기 위해 확인이 필요한 코로나19 트윗을 식별하고 우선순위를 매기는 시스템을 개발하는 것.
• 숫자 표현 처리 기능을 강화한 BERT 기반 임bedding을 활용해 확인 필요성 탐지 성능을 향상시키는 것.
• 외부 루머 데이터셋에서 유래한 데이터 증강이 모델의 일반화 능력과 성능에 미치는 영향을 평가하는 것.
• 특히 숫자 표현 토큰화를 포함한 다양한 전처리 전략이 모델의 강건성 향상에 미치는 영향을 분석하는 것.
• 루머 탐지와 같은 관련 작업을 활용해 확인 필요성 분류 성능 향상 여부를 탐구하는 것.

제안 방법

• 트윗의 문맥적 표현을 위해 미세조정된 코로나19 트윗용 BERT(CT-BERT)를 사용한다.
• 모델의 일반화 능력 향상과 주장 관련 패턴 포착을 위해 숫자 표현을 특수 토큰 <number>로 대체한다.
• 1D 컨volutional 신경망(CNN)이 문맥 임베딩을 처리하여 트윗을 확인 필요성 있음 또는 없음으로 분류한다.
• 세 가지 모델 변형을 학습: 전체 토큰화를 적용한 모델, 숫자 표현만 토큰화한 모델, PHEME 루머 데이터셋에서 유래한 증강된 학습 데이터를 사용한 모델.
• 외부 데이터로 PHEME를 활용해 학습 세트를 증강하였으며, 미지의 주제로의 일반화 능력 향상을 목적으로 하였다.
• 모델 선택은 개발 세트 성능 기반으로 이루어졌으며, 상위 3개 모델이 공식 테스트 세트에 제출되었다.

실험 결과

연구 질문

• RQ1 숫자 표현을 특수 토큰으로 취급하는 것이 BERT 기반 모델의 확인 필요성 탐지 성능 향상에 기여하는가?
• RQ2 다른 도메인의 외부 루머 데이터셋을 활용한 데이터 증강이 확인 필요성 탐지 모델의 일반화 능력을 향상시키는가?
• RQ3 전처리 전략, 특히 숫자 표현 토큰화의 선택이 미지의 테스트 데이터에서 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 다양한 BERT 임베딩과 모델 아키텍처가 자원이 제한된 환경에서 확인 필요성 탐지 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ5 루머 탐지와 같은 유사하지만 다른 작업에서 유래한 데이터를 확인 필요성 분류 시스템에 통합할 경우 도메인 이동에 따른 영향은 무엇인가?

주요 결과

• 숫자 표현만 <number>로 토큰화한 CT-BERT를 사용한 최고 성능 모델은 평균 평균 정밀도(MAP) 0.78을 기록하며 CLEF 2020 공동 과제에서 4위를 차지했다.
• 모델 1은 문장부호까지 포함한 광범위한 토큰화를 적용하여 MAP 0.71를 기록하였으며, 이는 최소한의 전처리가 더 일반화 가능한 패턴을 유지함을 시사한다.
• 모델 3는 PHEME 데이터셋의 루머 데이터를 활용해 학습 데이터를 증강하였으며, 개발 세트 성능가 낮았음에도 불구하고 테스트 세트에서 베이스라인을 초월하여 일반화 능력 향상을 입증하였다.
• 숫자 표현 토큰화의 적용이 모델 성능 향상에 크게 기여하였으며, 모든 최상위 모델에서 k=1, 3, 5, 10일 때 정밀도가 1.00으로 가장 높았다.
• PHEME의 루머 데이터를 활용한 데이터 증강은 R-정밀도(0.63에서 0.70으로)와 정밀도@50(0.64에서 0.68로) 향상을 보였으며, 이는 장꼬리 성능 향상의 증거로 볼 수 있다.
• 특정 지표 향상에도 불구하고, 원래 학습 세트에 PHEME 데이터를 병합했을 때 전체 F1 또는 MAP에서 유의미한 향상이 관찰되지 않아 도메인 및 작업 불일치로 인한 전이 가능성 제한을 시사한다.