[논문 리뷰] Incorporating Count-Based Features into Pre-Trained Models for Improved Stance Detection

Anushka Prakash, Harish Tayyar Madabushi|arXiv (Cornell University)|2020. 10. 18.

Sentiment Analysis and Opinion Mining참고 문헌 23인용 수 9

한 줄 요약

이 논문은 RoBERTa에 학습된 다층 퍼셉트론(MLP)을 통해 카운트 기반 특징—특히 TF-IDF 표현—을 통합하는 새로운 아키텍처를 제안하여 소셜 미디어에서의 스탠스 검출 성능을 향상시킨다. 수작업으로 구성한 특징(예: '가짜', '진실되지 않음')을 활용함으로써 앙상블 모델은 RumourEval 2019 데이터셋에서 최신 기준(F1-score 63.94)을 달성하였으며, 특히 성능이 떨어지는 '부정' 클래스에서 성능 향상을 이룩하였다.

ABSTRACT

The explosive growth and popularity of Social Media has revolutionised the way we communicate and collaborate. Unfortunately, this same ease of accessing and sharing information has led to an explosion of misinformation and propaganda. Given that stance detection can significantly aid in veracity prediction, this work focuses on boosting automated stance detection, a task on which pre-trained models have been extremely successful on, as on several other tasks. This work shows that the task of stance detection can benefit from feature based information, especially on certain under performing classes, however, integrating such features into pre-trained models using ensembling is challenging. We propose a novel architecture for integrating features with pre-trained models that address these challenges and test our method on the RumourEval 2019 dataset. This method achieves state-of-the-art results with an F1-score of 63.94 on the test set.

연구 동기 및 목표

• 소셜 미디어에서의 스탠스 검출 성능, 특히 '부정'과 같은 성능이 떨어지는 클래스의 성능 향상을 위해 수작업으로 구성한 카운트 기반 특징을 사전 훈련된 모델에 통합하는 것.
• 얕은 특징 기반 모델과 깊은 사전 훈련된 모델인 RoBERTa를 융합할 때 발생하는 과적합 또는 정보 손실 문제를 해결하는 것.
• 사용자 작업에 특화된 특징 정보를 유지하면서 RoBERTa의 문맥적 표현과 융합하는 효과적인 아키텍처를 개발하는 것.
• 부정, 거부 표시어 등 스탠스 관련 어휘 패턴을 명시적으로 모델링하면 순수한 문맥 모델링을 넘어서 분류 성능 향상이 가능한지 조사하는 것.
• 사자어적 댓글이나 의문문 문장과 같은 미묘한 경우에서의 오분류를 줄이기 위해 특징 기반 신호와 문맥 신호를 균형 있게 조율하는 것.

제안 방법

• 이 방법은 이중 스트림 아키텍처를 사용한다: 한 스트림은 RoBERTa를 통해 입력 텍스트를 처리하여 문맥 임베딩을 추출하고, 다른 스트림은 동일한 텍스트의 TF-IDF 특징을 다층 퍼셉트론(MLP)을 통해 처리한다.
• TF-IDF 특징은 반응 게시물의 유니그램 및 바이그램 표현에서 유도되며, 특정 스탠스와 강하게 연관된 단어(예: '부정' 클래스에 대해 '가짜', '진실되지 않음')에 초점을 맞춘다.
• MLP는 RoBERTa 출력과 융합하기 전에 TF-IDF 특징에서 독립적으로 훈련되어 스탠스 관련 패턴을 포착하는 추상적 표현을 학습한다.
• 최종 예측은 RoBERTa의 분류 헤드 출력과 MLP 출력을 연결하여 최종 분류기 레이어를 통과시켜 수행된다.
• 모델은 RumourEval 2019 데이터셋에서 엔드 투 엔드로 미세조정되며, 융합 전에 MLP 구성 요소를 미리 훈련하여 공동 훈련 중 과적합을 방지한다.
• 직접적인 특징 융합을 피하고, 잡음을 줄이며 작업에 특화된 정보를 유지하는 데 초점을 맞춘, 학습된 저차원 특징 표현을 사용하는 아키텍처로 설계되었다.

실험 결과

연구 질문

• RQ1 TF-IDF 표현과 같은 카운트 기반 특징이 RoBERTa와 같은 사전 훈련된 모델의 스탠스 검출 성능, 특히 '부정'과 같은 도전적인 클래스에서 향상되는가?
• RQ2 얕은 특징 기반 모델과 깊은 문맥 기반 모델을 융합할 때 과적합이나 정보 손실을 방지하면서 수작업 특징을 효과적으로 통합할 수 있는가?
• RQ3 학습된 MLP를 통해 특징의 추상적 표현을 학습하면 직접적인 특징 융합 또는 원시 특징 입력보다 더 나은 일반화 성능를 달성하는가?
• RQ4 부정, 거부 표시어 등의 어휘적 신호가 스탠스 분류에 얼마나 기여하는지, 그리고 특징 공학을 통해 신뢰성 있게 포착될 수 있는가?
• RQ5 특징 기반 모델의 융합이 '지지'와 '의견'과 같은 유사한 클래스를 구분하는 능력에 어떻게 영향을 미치는가?

주요 결과

• 제안된 앙상블 모델은 RumourEval 2019 테스트 세트에서 매크로 평균 F1-score 63.94를 기록하여 새로운 최신 기준을 수립하였다.
• 이전 모델이 어려움을 겪었던 '부정' 클래스에서 성능 향상이 뚜렷하게 이루어졌으며, 이는 '가짜', '진실되지 않음'과 같은 거부 관련 关련 키워드의 효과적인 모델링 덕분이었다.
• 혼동 행렬 분석 결과, 앙상블 모델은 '부정' 인스턴스의 오분류를 줄였지만, 거부 어휘를 포함한 '의견' 게시물을 종종 '부정'으로 잘못 분류하는 경향이 있었다.
• 오류 분석 결과, 모델이 특정 어휘적 신호—예: '왜'는 '질문'에 대해, '가짜'는 '부정'에 대해 과도하게 가중시켜, 사자어적 또는 모호한 경우에서 오분류를 일으키는 경향이 있었다.
• URL을 포함한 게시물을 분류하는 데 어려움을 겪었으며, 이는 URL에서 누락된 정보가 성능을 제한했고, 타겟 컨텍스트 부족으로 인해 원본 게시물의 스탠스를 자주 잘못 예측하는 경향이 있었다.
• 원시 특징이 아닌 추상적 MLP 표현을 통한 특징 융합은 잡음을 줄이고 일반화 성능를 향상시켜, 직접 융합 또는 차원 축소 기법보다 뛰어난 성능을 보였다.