[논문 리뷰] TIB's Visual Analytics Group at MediaEval '20: Detecting Fake News on Corona Virus and 5G Conspiracy

Gullal S. Cheema, Sherzod Hakimov외 1명|arXiv (Cornell University)|2020. 01. 01.

Misinformation and Its Impacts참고 문헌 20인용 수 2

한 줄 요약

이 논문은 코로나19 및 5G 음모론과 관련된 트위터 가짜 뉴스 탐지를 위한 BERT 기반 접근법을 제시한다. 도메인 특화로 튜닝된 BERT 모델에서 유도된 문맥 임베딩과 압축-확장 연산을 적용한 얕은 신경망을 사용한다. 2-class 설정에서 공식 테스트 세트에서 Matthews 상관계수(MCC) 0.6083을 기록하여 베이직 BERT를 능가했으며, 가짜 뉴스 탐지에서 도메인 특화 미리 훈련 및 풀링 전략의 가치를 입증한다.

ABSTRACT

Fake news on social media has become a hot topic of research as it negatively impacts the discourse of real news in the public. Specifi-cally, the ongoing COVID-19 pandemic has seen a rise of inaccurate and misleading information due to the surrounding controversies and unknown details at the beginning of the pandemic. The Fak-eNews task at MediaEval 2020 tackles this problem by creating a challenge to automatically detect tweets containing misinformation based on text and structure from Twitter follower network. In this paper, we present a simple approach that uses BERT embeddings and a shallow neural network for classifying tweets using only text, and discuss our findings and limitations of the approach in text-based misinformation detection.

연구 동기 및 목표

• 코로나19 및 5G 음모론과 관련된 소셜 미디어 가짜 뉴스 탐지를 위한 텍스트 전용 접근법 개발.
• 가짜 뉴스 탐지에서 도메인 특화 BERT 임베딩(COVID Twitter BERT)과 베이직 BERT의 성능 비교 평가.
• 문장 수준 분류를 위한 BERT 임베딩에 대한 다양한 풀링 전략의 영향 탐구.
• 감정, 주관성, 어휘적 특징과 같은 추가 언어적 특징이 이 작업에서 성능 향상에 기여하는지 평가.
• 2-class와 3-class 분류 설정 간의 모델 신뢰도 및 성능 지표 측면에서의 상호 상충 관계 탐색.

제안 방법

• 대규모 코로나19 관련 트위터 데이터 코퍼스에 대해 미세조정된 BERT-large 임베딩(COVID Twitter BERT)을 사용하여 작업 도메인과의 정합도 향상.
• 정규화, 철자 교정, 사용자 이름, URL, 이메일 등의 특수 토큰 대체를 포함한 텍스트 전처리 적용.
• BERT의 마지막 네 개의 히든 레이어에서 풀링을 통해 문장 수준 표현 추출(연결(concatenation): 4-CAT, 평균(average): 4-SUM), 또한 단일 레이어 풀링(마지막 레이어: LAST, 두 번째 마지막 레이어: 2-LAST)도 평가.
• 128차원으로의 투영 이전에 특징 표현을 향상시키기 위해 압축-확장(SE) 연산을 적용한 두 층의 얕은 신경망 사용.
• 배치 정규화, ReLU 활성화 함수, 드롭아웃(0.2 및 0.5), 소프트맥스 출력을 가지는 최종 선형 분류 레이어 적용.
• 테스트 예측을 위해 다섯 개의 5-폴드 교차 검증 분할에서의 다수결 투표를 사용하며, 3-class 제출 시 '결정 불가' 클래스에 할당하기 위해 신뢰도 임계값 0.4 설정.

실험 결과

연구 질문

• RQ1 코로나19 관련 트위터 데이터에 대해 미리 훈련된 BERT 모델을 사용할 경우, 가짜 뉴스 탐지에서 베이직 BERT보다 성능 향상이 이루어지는가?
• RQ2 BERT의 마지막 히든 상태에 대한 다양한 풀링 전략(예: 연결, 평균, 단일 레이어)이 분류 성능에 어떤 영향을 미치는가?
• RQ3 감정, 주관성, 어휘적 특징과 같은 추가 언어적 특징의 추가가 탐지 정확도 향상에 기여하는가?
• RQ4 2-class와 3-class 분류 설정 간의 선택이 가짜 뉴스 탐지에서 모델 성능 및 신뢰도에 어떤 영향을 미치는가?
• RQ5 도메인 특화 미리 훈련이 신속히 발생하는 공중보건 이슈에 대한 가짜 뉴스 탐지에서 도메인 갭을 얼마나 감소시키는가?

주요 결과

• COVID Twitter BERT 모델이 베이직 BERT를 능가했으며, 네 개의 레이어를 미세조정할 경우 검증 세트에서 MCC 0.5952를 기록한 반면, 베이직 BERT는 0.4611을 기록했다.
• 2-class 분류 설정에서 MCC 점수(0.6083)가 3-class 설정(0.5773)보다 높아, 비모의론 및 기타 음모론 클래스를 통합함으로써 성능 향상이 이루어졌음을 시사한다.
• 다양한 레이어를 조합하는 풀링 전략(4-CAT 및 4-SUM)이 단일 레이어 풀링(LAST 및 2-LAST)보다 성능이 뛰어났으며, 4-CAT가 검증 세트에서 가장 높은 MCC 0.5841을 기록했다.
• 감정, 주관성, 어휘적 특징의 추가는 성능 향상에 기여하지 않아 최종 모델에서 제외되었다.
• 2-class 설정에서 공식 테스트 세트에서 MCC 0.6083을 기록하여, 미지의 데이터에 대한 강력한 일반화 능력을 입증했다.
• 신뢰도 기반 '결정 불가' 클래스 할당(임계값 < 0.4)이 불확실한 케이스의 오분류를 효과적으로 줄이는 데 기여했다.