[논문 리뷰] Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection

Ben Chen, Bin Chen외 6명|arXiv (Cornell University)|2021. 01. 14.

Misinformation and Its Impacts참고 문헌 18인용 수 5

한 줄 요약

이 논문은 도메인 특화 어휘를 강화하고, 가열된 소프트맥스 손실을 통해 하드 음성 샘플을 강조하며, 적대적 훈련을 통한 강건성 향상과 RoBERTa 및 CT-BERT의 특징 융합을 통한 코로나19 가짜 뉴스 탐지에 적합한 파생형 트랜스포머 모델 Ro-CT-BERT를 제안한다. 이는 기준 데이터셋에서 최신 기술 수준의 가중 평균 F1 스코어 99.02%를 달성한다.

ABSTRACT

With the pandemic of COVID-19, relevant fake news is spreading all over the sky throughout the social media. Believing in them without discrimination can cause great trouble to people's life. However, universal language models may perform weakly in these fake news detection for lack of large-scale annotated data and sufficient semantic understanding of domain-specific knowledge. While the model trained on corresponding corpora is also mediocre for insufficient learning. In this paper, we propose a novel transformer-based language model fine-tuning approach for these fake news detection. First, the token vocabulary of individual model is expanded for the actual semantics of professional phrases. Second, we adapt the heated-up softmax loss to distinguish the hard-mining samples, which are common for fake news because of the disambiguation of short text. Then, we involve adversarial training to improve the model's robustness. Last, the predicted features extracted by universal language model RoBERTa and domain-specific model CT-BERT are fused by one multiple layer perception to integrate fine-grained and high-level specific representations. Quantitative experimental results evaluated on existing COVID-19 fake news dataset show its superior performances compared to the state-of-the-art methods among various evaluation metrics. Furthermore, the best weighted average F1 score achieves 99.02%.

연구 동기 및 목표

• 코로나19 패an 동안 짧고 도메인 특화된 가짜 뉴스 탐지에 일반 목적의 언어 모델이 낮은 성능을 보이는 문제를 해결하기 위해.
• 표준 토크나이저에 의해 희귀 전문 어휘가 서브토큰으로 분할되면서 발생하는 의미 이해의 제약를 극복하기 위해.
• 의미가 모호하고 짧은 텍스트로 구성된 어려운 분류가 어려운 가짜 뉴스 샘플에 대한 모델 일반화 및 강건성 향상하기 위해.
• 일반 모델(RoBERTa)의 세밀한 표현과 CT-BERT의 고수준 도메인 특화 표현을 융합하여 탐지 성능 향상시키기 위해.
• 통합된 방법론적 개선을 통해 기존 코로나19 가짜 뉴스 탐지 기준 테스트에서 최고의 성능 달성하기 위해.

제안 방법

• 기본 모델의 토큰 어휘를 빈번한 전문 어휘로 확장하여 의미의 무결성을 유지하고 서브토큰 분할을 방지한다.
• 가열된 소프트맥스 손실을 적용하여 하드 음성 샘플에 주목함으로써 짧은 텍스트 분류에서의 구분 능력을 향상시킨다.
• 입력 임bedding을 변형하는 FGM(Fast Gradient Method)을 통한 적대적 훈련을 적용하여 모델의 강건성을 향상시킨다.
• 다층 퍼셉트론을 사용해 RoBERTa와 CT-BERT의 예측 특징을 융합하여 세밀한 표현과 도메인 특화 표현을 통합한다.
• 광범위한 데이터 증강과 도메인 특화 사전 훈련을 수행한 코로나19 가짜 뉴스 데이터셋을 기반으로 최종 모델을 훈련시킨다.
• 제거 실험을 통해 각 구성 요소의 기여도를 검증한다: 적대적 훈련, 손실 함수, 어휘 확장.

실험 결과

연구 질문

• RQ1 도메인 특화 어휘로 모델 어휘를 확장하면 짧고 전문적인 가짜 뉴스에서 의미 이해가 향상되는가?
• RQ2 가열된 소프트맥스 손실 함수 적용이 가짜 뉴스 탐지에서 하드 음성 샘플을 구분하는 능력을 향상시키는가?
• RQ3 적대적 훈련이 자원이 제한된 짧은 텍스트 분류 작업에서 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 일반 언어 모델(RoBERTa)과 도메인 특화 모델(CT-BERT) 간의 특징 융합은 가짜 뉴스 탐지에 얼마나 효과적인가?
• RQ5 다양한 개선 사항의 병합 효과는 최신 기술 수준의 방법에 비해 전체 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 Ro-CT-BERT 모델은 가중 평균 F1 스코어 99.02%를 달성하여 모든 베이스라인 모델을 뛰어넘는다.
• 제거 실험 결과 각 구성 요소—적대적 훈련, 가열된 소프트맥스 손실, 어휘 확장—이 성능 향상에 기여하는 것으로 확인된다.
• 가열된 소프트맥스 손실이 가장 큰 개선 효과를 보였으며, 기본 CT-BERT 모델 대비 F1 스코어를 0.0028 포인트 향상시켰다.
• 적대적 훈련(FGM)은 F1 스코어를 0.0023 포인트 향상시켜 어려운 샘플에서의 일반화 능력 향상을 입증했다.
• 어휘 확장만으로도 F1 스코어가 0.0005 포인트 향상되어 희귀 의료 용어의 의미 유지 역할을 확인했다.
• 세 가지 구성 요소를 모두 포함한 최종 모델(CT-BERT-TRM)은 F1 스코어 98.78%를 기록했으며, RoBERTa 특징과 융합함으로써 F1 스코어가 99.02%로 추가 향상되었다.