[논문 리뷰] Transfer Learning from Transformers to Fake News Challenge Stance Detection (FNC-1) Task

Valeriya Slovikovskaya|arXiv (Cornell University)|2019. 10. 31.

Misinformation and Its Impacts인용 수 25

한 줄 요약

이 논문은 사전에 훈련된 트랜스포머 모델—BERT, XLNet, RoBERTa—에서의 전이 학습을 활용하여 Fake News Challenge (FNC-1) 작업의 스탠스 검출 성능을 향상시킨다. 저자들은 RoBERTa가 BERT와 XLNet을 모두 앞서는 성능을 보이며, 이전 최고 성능 모델인 featMLP에 비해 관련 클래스에서 8–20% 향상된 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we report improved results of the Fake News Challenge Stage 1 (FNC-1) stance detection task. This gain in performance is due to the generalization power of large language models based on Transformer architecture, invented, trained and publicly released over the last two years. Specifically (1) we improved the FNC-1 best performing model adding BERT sentence embedding of input sequences as a model feature, (2) we fine-tuned BERT, XLNet, and RoBERTa transformers on FNC-1 extended dataset and obtained state-of-the-art results on FNC-1 task.

연구 동기 및 목표

• 대규모 사전 훈련된 트랜스포머 모델에서의 전이 학습을 활용하여 Fake News Challenge (FNC-1) 작업의 스탠스 검출 성능을 향상시키는 것.
• BERT, XLNet, RoBERTa의 문맥 기반 임베딩이 기존의 특징 기반 모델을 초월하여 분류 성능 향상에 기여하는지 평가하는 것.
• FNC-1 데이터셋에서 다양한 사전 훈련된 모델(BERT, XLNet, RoBERTa)의 성능를 비교하고, 영역 간 일반화 능력을 평가하는 것.
• Simple Transformers 라이브러리를 사용하여 재현 가능하고 접근성이 높은 구현을 제공함으로써, 더 넓은 커뮤니티가 미세 조정된 모델에 접근할 수 있도록 하는 것.

제안 방법

• FNC-1 확장 데이터셋에 대해 BERT, XLNet, RoBERTa의 기본 버전을 5에포크 훈련 스케줄을 사용하여 미세 조정한다. 배치 크기는 4이다.
• 최대 시퀀스 길이를 512 토큰으로 설정하였으며, BERT의 경우 학습률을 3e-5로, XLNet 및 RoBERTa의 경우 1e-5로 설정하였다.
• Hugging Face Transformers 라이브러리와 Simple Transformers 래퍼를 사용하여 모델 접근성과 미세 조정 프로세스를 간소화하였다.
• 이전에 가장 높은 성능을 기록한 모델인 featMLP에 BERT 문장 임베딩을 추가적인 특징으로 통합하여 성능 향상에 기여하였다.
• 모델 일반화 능력을 평가하기 위해 FNC-1에서 미세 조정하고 ARC에서 테스트하는 방식과 반대로, ARC에서 미세 조정하고 FNC-1에서 테스트하는 방식의 교차 도메인 평가를 실시하였다.
• 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하여 모델 성능을 평가하였으며, 클래스 별 및 총합 성능 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 트랜스포머 모델에서의 전이 학습이 이전 최고 성능 모델에 비해 FNC-1 데이터셋에서 스탠스 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 BERT, XLNet, RoBERTa와 같은 다양한 사전 훈련된 모델이 FNC-1 스탠스 검출 작업에서 성능적으로 어떻게 비교되는가?
• RQ3 BERT 문장 임베딩을 기존 모델 아키텍처에 특징으로 통합하면 성능 향상에 기여하는가?
• RQ4 미세 조정된 모델이 ARC 벤치마크와 같은 도메인 외부 데이터셋으로의 일반화 능력은 얼마나 되는가?
• RQ5 모델 아키텍처 선택이 스탠스 검출에서 제로샷 또는 교차 도메인 전이 성능에 어떤 영향을 미치는가?

주요 결과

• 미세 조정된 RoBERTa가 FNC-1 테스트 세트에서 전체 F1 점수 85%를 기록하여, BERT(71%)와 XLNet(71%)를 모두 앞서는 최고 성능을 달성하였다.
• 최고 성능을 기록한 모델(RoBERTa)은 'unrelated' 클래스에서 이전 최고 성능 모델인 featMLP에 비해 F1 점수 20% 향상되었다.
• 'agree' 클래스에서 RoBERTa의 F1 점수는 86%였으며, featMLP 모델의 71%에 비해 15%의 상대적 향상률을 기록하였다.
• 교차 도메인 평가 결과, FNC-1에서 미세 조정하고 ARC에서 테스트했을 때 RoBERTa가 BERT와 XLNet보다 성능이 열 劣하므로, 도메인 민감성의 가능성을 시사하였다.
• 혼동 행렬 분석 결과, RoBERTa가 'unrelated' 클래스에서 가장 낮은 오분류율(20,838건의 정확한 예측)을 기록하여 다른 모든 모델보다 뛰어난 성능을 보였다.
• BERT 문장 임베딩을 특징으로 통합함으로써 기본 모델인 featMLP의 성능이 향상되었으며, 이는 스탠스 검출에서 문맥 기반 표현의 가치를 입증하였다.