[논문 리뷰] Localization of Fake News Detection via Multitask Transfer Learning

Jan Christian Blaise Cruz, Julianne Agatha Tan외 1명|arXiv (Cornell University)|2019. 10. 21.

Misinformation and Its Impacts참고 문헌 20인용 수 16

한 줄 요약

이 논문은 필리피노어를 위한 첫 번째 전문가가 검수한 가짜 뉴스 데이터셋인 'Fake News Filipino'을 소개하며, 보조 언어 모델링 손실을 활용한 다중 작업 전이 학습이 가짜 뉴스 탐지 정확도를 크게 향상시킨다는 것을 입증한다—저자원 데이터에서 96%의 정확도를 달성하여 기존 전이 학습 대비 4-6% 향상되었다. 이 방법은 다중 작업 학습을 통한 스타일 적응을 통해 다양한 기사 유형에 걸쳐 모델의 강건성을 향상시킨다.

ABSTRACT

The use of the internet as a fast medium of spreading fake news reinforces the need for computational tools that combat it. Techniques that train fake news classifiers exist, but they all assume an abundance of resources including large labeled datasets and expert-curated corpora, which low-resource languages may not have. In this work, we make two main contributions: First, we alleviate resource scarcity by constructing the first expertly-curated benchmark dataset for fake news detection in Filipino, which we call "Fake News Filipino." Second, we benchmark Transfer Learning (TL) techniques and show that they can be used to train robust fake news classifiers from little data, achieving 91% accuracy on our fake news dataset, reducing the error by 14% compared to established few-shot baselines. Furthermore, lifting ideas from multitask learning, we show that augmenting transformer-based transfer techniques with auxiliary language modeling losses improves their performance by adapting to writing style. Using this, we improve TL performance by 4-6%, achieving an accuracy of 96% on our best model. Lastly, we show that our method generalizes well to different types of news articles, including political news, entertainment news, and opinion articles.

연구 동기 및 목표

• 저자원 언어, 특히 필리피노어에서 가짜 뉴스 탐지에 적합한 전문가가 검수한 기준 데이터셋의 부족 문제를 해결한다.
• 저자원 환경에서 제한된 레이블 데이터로도 높은 성능을 달성할 수 있는 전이 학습 기법을 개발하고 평가한다.
• 후행 가짜 뉴스 분류 작업에서 글쓰기 스타일에 적응하기 위해 보조 언어 모델링 손실을 통합하여 모델의 강건성을 향상시킨다.
• 정치, 엔터테인먼트, 의견 기사 등 다양한 기사 유형으로의 일반화 능력을 입증한다.
• 필리피노어를 초월해 저자원 언어에서 가짜 뉴스 탐지에 적용 가능한 확장성 있고 이식 가능한 프레임워크를 제공한다.

제안 방법

• 메인 뉴스 매체와 사실 확인 기관에서 확보한 3,206건의 기사로 구성된 'Fake News Filipino' 데이터셋을 구축하였으며, 실재 및 가짜 기사가 균형 있게 분할되어 있다.
• ULMFiT, BERT, GPT-2와 같은 전이 학습 모델을 활용하여 저자원 데이터셋에 대해 미세조정하였으며, 사전 학습된 언어 표현을 활용하였다.
• 다중 작업 학습을 도입하여 보조 언어 모델링 목표를 추가함으로써 성능을 향상시켰으며, 이는 글쓰기 스타일에 대한 적응과 일반화 능력 향상에 기여하였다.
• 일관된 토크나이제이션을 위해 Moses Tokenizer를 사용하였고, 문장 부호와 대문자/소문자 표기 방식을 유지하여 스타일적 단서를 보존하였다.
• 70/30 훈련-테스트 분할 기반으로 모델을 훈련하였으며, 각 구성 요소의 성능에 미치는 영향을 평가하기 위해 광범위한 추상화 연구(ablation studies)를 실시하였다.
• 의견 기사, 루머 기사 등 훈련에 사용되지 않은 기사 유형에 대한 모델 행동을 평가하여 스타일 기반 일반화 능력을 점검하였다.

실험 결과

연구 질문

• RQ1 필리피노어와 같이 저자원 언어에서 제한된 레이블 데이터로도 전이 학습 기법이 높은 정확도를 달성할 수 있는가?
• RQ2 보조 언어 모델링 손실의 통합이 트랜스포머 기반 가짜 뉴스 분류기의 성능에 어떻게 기여하는가?
• RQ3 의견 기사나 루머 기사와 같은 다양한 기사 유형으로의 일반화 능력은 글쓰기 스타일에 기반해 어느 정도 가능할 수 있는가?
• RQ4 제안된 다중 작업 학습 접근법은 표준 미세조정 대비 더 강건하고 일반화 능력이 뛰어난 가짜 뉴스 탐지 모델을 만들어내는가?
• RQ5 필리피노어를 위한 정제된 전문가가 검수한 기준 데이터셋은 저자원 환경에서 가짜 뉴스 탐지 연구의 재현 가능성과 진전을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 Fake News Filipino 데이터셋은 가짜 뉴스 탐지에서 96%의 정확도를 달성하였으며, 기존 표준 전이 학습 기반 모델 대비 4-6% 향상되었다.
• 보조 손실 없이도 모델은 91%의 정확도를 기록하였으며, 기존의 적은 데이터 기반 기반 모델 대비 오류율을 14% 감소시켰다.
• 보조 언어 모델링 손실의 통합으로 성능이 4-6% 향상되어, 가짜 뉴스 탐지에서 스타일 적응의 가치를 입증하였다.
• 성능이 가장 뛰어난 모델은 레이블이 없는 기사 유형으로도 잘 일반화되었으며, 의견 기사와 루머 기사에 대해 각각 실재 및 가짜로 분류하는 데 성공했다. 이는 스타일적 단서에 기반한 분류 능력을 보여준다.
• 정치 뉴스, 엔터테인먼트 뉴스, 의견 기사 등 다양한 기사 유형에 걸쳐 모델의 성능이 강건하게 유지되어 강력한 스타일 기반 일반화 능력을 보였다.
• 본 연구는 다중 작업 적응을 통한 전이 학습이 저자원 언어에서 가짜 뉴스 탐지에 실현 가능하고 효과적인 전략임을 확인하였다.