[논문 리뷰] Model Generalization on COVID-19 Fake News Detection

Yejin Bang, Etsuko Ishii외 3명|arXiv (Cornell University)|2021. 01. 11.

Misinformation and Its Impacts참고 문헌 38인용 수 6

한 줄 요약

이 논문은 코로나19 가짜 뉴스 탐지에서 모델 일반화를 향상시키기 위해 두 가지 방법을 제안한다: 노이즈가 많거나 잘못 레이블링된 학습 데이터에 대해 강건한 손실 함수를 사용한 BERT 기반 모델의 미세조정과 영향 기반 데이터 청소를 통한 유해한 학습 인스턴스 제거. 최고 성능을 보인 모델은 보류된 테스트 세트(Tweets-19)에서 54.33%의 가중 F1을 기록하여 기준 모델을 크게 능가했으며, 이는 데이터 청소가 원래 작업 성능을 희생시키지 않고도 일반화 능력을 향상시킨다는 것을 보여준다.

ABSTRACT

Amid the pandemic COVID-19, the world is facing unprecedented infodemic with the proliferation of both fake and real information. Considering the problematic consequences that the COVID-19 fake-news have brought, the scientific community has put effort to tackle it. To contribute to this fight against the infodemic, we aim to achieve a robust model for the COVID-19 fake-news detection task proposed at CONSTRAINT 2021 (FakeNews-19) by taking two separate approaches: 1) fine-tuning transformers based language models with robust loss functions and 2) removing harmful training instances through influence calculation. We further evaluate the robustness of our models by evaluating on different COVID-19 misinformation test set (Tweets-19) to understand model generalization ability. With the first approach, we achieve 98.13% for weighted F1 score (W-F1) for the shared task, whereas 38.18% W-F1 on the Tweets-19 highest. On the contrary, by performing influence data cleansing, our model with 99% cleansing percentage can achieve 54.33% W-F1 score on Tweets-19 with a trade-off. By evaluating our models on two COVID-19 fake-news test sets, we suggest the importance of model generalization ability in this task to step forward to tackle the COVID-19 fake-news problem in online social media platforms.

연구 동기 및 목표

• 코로나19 정보 유포의 폭주 상황에서 가짜 뉴스 탐지에 대한 강건한 모델을 개발하기 위해.
• 공동 과제 벤치마크를 초월해 별도의 테스트 세트(Tweets-19)에서 평가함으로써 모델 일반화 능력을 향상시키기 위해.
• 강건한 손실 함수와 영향 기반 데이터 청소가 모델 성능과 일반화 능력을 향상시키는지 조사하기 위해.
• 원래 작업 성능과 도메인 외부 데이터로의 일반화 능력 사이의 성과 상호 교환 관계를 평가하기 위해.
• 가짜 뉴스 탐지와 같은 자원이 부족하고 고위험도를 가진 NLP 과제에서 더 일반화 능력이 뛰어난 모델을 구축하기 위한 프레임워크를 제공하기 위해.

제안 방법

• 노이즈가 많거나 잘못 레이블링된 학습 인스턴스에 대해 강건성을 높이기 위해 대규모 RoBERTa 모델을 대상으로 대칭 교차 엔트로피와 일반화된 교차 엔트로피를 포함한 강건한 손실 함수를 사용해 미세조정한다.
• 모델 예측에 미치는 영향을 기반으로 가장 해로운 학습 인스턴스를 식별하고 제거하기 위해 영향 함수 분석을 적용한다.
• 청소 비율을 5%에서 99%까지 다양하게 설정하여 일반화 능력과 성능에 미치는 영향을 평가한다.
• 모델의 일반화 능력을 평가하기 위해 CONSTRAINT 2021 공동 과제 데이터셋(FakeNews-19)과 독립적인 테스트 세트(Tweets-19) 두 개의 별도 테스트 세트에서 평가한다.
• 클래스별 성능 분석과 다양한 청소 비율 간의 성과 상호 교환 관계를 분석하기 위해 이진 F1, 정밀도, 재현율 점수를 사용한다.
• 각각의 기술이 일반화에 미치는 영향을 분리하기 위해 다양한 손실 함수와 청소 수준에서의 모델 성능를 비교한다.

실험 결과

연구 질문

• RQ1 강건한 손실 함수는 도메인 외부 가짜 뉴스 탐지 벤치마크에서 모델 일반화 능력을 향상시킬 수 있는가?
• RQ2 영향 기반 데이터 청소는 원래 작업 성능를 유지하면서도 도메인 외부 테스트 세트에서의 모델 성능를 얼마나 향상시킬 수 있는가?
• RQ3 다양한 평가 세트에서 데이터 청소 비율과 모델 성능 사이의 최적의 상호 교환 관계는 무엇인가?
• RQ4 다양한 손실 함수와 데이터 청소 전략은 가짜 뉴스 탐지에서 클래스별 정밀도와 재현율에 어떻게 영향을 미치는가?
• RQ5 한 가짜 뉴스 데이터셋에서 학습된 모델이 동일한 도메인 내 다른 테스트 세트로 효과적으로 일반화될 수 있는가?

주요 결과

• 강건한 손실 함수(커리큘럼 손실)를 사용해 미세조정한 모델은 공식 공동 과제 벤치마크인 FakeNews-19에서 98.13%의 가중 F1을 기록하여 원래 기준 성능가 매우 우수한 성능을 보였다.
• 도메인 외부 테스트 세트인 Tweets-19에서 동일한 모델은 단지 38.18%의 가중 F1을 기록하여, 강건한 손실 함수만으로는 일반화 능력이 떨어짐을 보여주었다.
• 영향 기반 데이터 청소는 일반화 능력을 크게 향상시켰다: 99% 청소 비율에서 Tweets-19에서 54.33%의 가중 F1을 기록하여 기준 모델 대비 16.15% 향상된 성능를 기록했다.
• 99% 청소를 적용한 모델은 Tweets-19에서 61.10%의 정확도를 기록하여 도메인 외부에서 매우 도전적인 테스트 세트에서 강력한 성능를 보였다.
• 청소 비율이 증가함에 따라 진짜 뉴스에 대한 재현율은 향상되어 최대 71.50%까지 상승했고, 가짜 뉴스 정밀도는 37.17%까지 상승하여 진짜 실재 뉴스를 더 잘 탐지할 수 있었다.
• Tweets-19 세트에서 영향 기반 청소 방법은 기준 모델 대비 8.37% 높은 가짜 레이블 F1과 38.17% 높은 진짜 레이블 F1을 기록하여 일반화 능력 향상에 효과적임을 확인했다.