[논문 리뷰] Evaluating BERT-based Pre-training Language Models for Detecting Misinformation

Rini Anggrainingsih, Ghulam Mubashar Hassan외 1명|arXiv (Cornell University)|2022. 03. 15.

Misinformation and Its Impacts인용 수 5

한 줄 요약

이 논문은 밀도 벡터로 텍스트를 인코딩하고 신경망을 통해 분류하는 데 사전 훈련된 언어 모델을 활용하여 자동으로 오보 정보를 탐지하기 위한 BERT 기반 미세조정 방법을 제안한다. 이 방법은 짧은 텍스트 및 긴 텍스트 데이터셋 모두에서 최신 기술을 능가하며, 더 큰 병합된 데이터셋으로 훈련할수록 성능이 크게 향상된다.

ABSTRACT

It is challenging to control the quality of online information due to the lack of supervision over all the information posted online. Manual checking is almost impossible given the vast number of posts made on online media and how quickly they spread. Therefore, there is a need for automated rumour detection techniques to limit the adverse effects of spreading misinformation. Previous studies mainly focused on finding and extracting the significant features of text data. However, extracting features is time-consuming and not a highly effective process. This study proposes the BERT- based pre-trained language models to encode text data into vectors and utilise neural network models to classify these vectors to detect misinformation. Furthermore, different language models (LM) ' performance with different trainable parameters was compared. The proposed technique is tested on different short and long text datasets. The result of the proposed technique has been compared with the state-of-the-art techniques on the same datasets. The results show that the proposed technique performs better than the state-of-the-art techniques. We also tested the proposed technique by combining the datasets. The results demonstrated that the large data training and testing size considerably improves the technique's performance.

연구 동기 및 목표

• 온라인 콘텐츠의 규모와 속도로 인해 대량의 오보 정보 탐지 문제를 해결하기 위해.
• 이전 접근 방식에서의 수동 사실 확인 및 특징 엔지니어링의 한계를 극복하기 위해.
• 사전 훈련된 언어 모델이 오보 정보를 인코딩하고 분류하는 데 효과적인지 평가하기 위해.
• 다양한 트레이너블 파라미터 수를 가진 다양한 BERT 버전 간의 성능을 비교하기 위해.
• 데이터셋 크기와 데이터 병합이 모델의 일반화 능력과 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 입력 텍스트를 문맥 기반 벡터 표현으로 인코딩하기 위해 BERT 기반 사전 훈련된 언어 모델을 미세조정한다.
• 결과로 생성된 시퀀스 표현을 피드포워드 신경망에 입력하여 오보 정보에 대한 이진 분류를 수행한다.
• 다양한 트레이너블 파라미터 수를 가진 여러 BERT 버전(예: base, large)을 평가한다.
• 짧은 텍스트(예: 소셜 미디어) 및 긴 텍스트(예: 뉴스 기사) 데이터셋 모두에서 모델을 훈련하고 테스트한다.
• 여러 데이터셋을 병합하여 훈련 데이터 크기를 늘리고 성능 향상을 평가한다.
• 표준 NLP 메트릭(예: 정확도, F1 점수)을 사용하여 최신 기술 대비 결과를 비교한다.

실험 결과

연구 질문

• RQ1 전통적인 특징 기반 방법과 비교해 봤을 때, BERT 기반 사전 훈련된 언어 모델은 오보 정보 탐지에 얼마나 효과적인가?
• RQ2 다른 트레이너블 파라미터 수를 가진 다양한 BERT 버전 간에 모델 성능는 어떻게 달라지는가?
• RQ3 여러 데이터셋을 병합하면 오보 정보 탐지 모델의 일반화 능력과 정확도가 향상되는가?
• RQ4 훈련 데이터 크기가 BERT 기반 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 짧고 긴 텍스트 오보 정보 탐지 작업 모두에서 기존 최신 기술을 능가할 수 있는가?

주요 결과

• 제안된 BERT 기반 방법은 짧고 긴 텍스트 데이터셋 모두에서 최신 기술보다 뛰어난 성능을 보였다.
• 데이터셋 병합을 통해 훈련 데이터 크기를 늘릴수록 성능 향상이 뚜렷하게 관찰되었다.
• 더 많은 트레이너블 파라미터를 가진 더 큰 BERT 모델이 더 높은 분류 정확도를 보였다.
• 모델은 다양한 텍스트 길이에 걸쳐 강력한 성능을 유지하여 입력 변동성에 대한 내구성이 있음을 시사했다.
• 종합적인 분류를 위해 BERT를 미세조정하는 것이 수동 특징 추출 방법보다 효율성과 정확도에서 뛰어났다.
• 결과는 사전 훈련된 언어 모델이 광범위한 특징 엔지니어링 없이도 오보 정보 탐지에 적절한 문맥적 신호를 효과적으로 포착할 수 있음을 확인시켰다.