[논문 리뷰] BERTuit: Understanding Spanish language in Twitter through a native transformer

Javier Huertas‐Tato, Alejandro Martín외 1명|arXiv (Cornell University)|2022. 04. 07.

Misinformation and Its Impacts인용 수 4

한 줄 요약

BERTuit는 RoBERTa 최적화 기법을 사용해 230만 개의 트윗으로 사전 훈련된 스페인어 전용 BERT 기반 트랜스포머 모델로, 트위터의 비공식적인 스페인어 텍스트에서 뛰어난 성능을 발휘한다. 다국어 모델인 XLM-RoBERTa와 M-BERT보다 악성 정보 탐지, 아이러니 식별, 저자 프로파일링 등의 과제에서 슈퍼리어한 성능을 보이며, 제로샷 능력과 제한된 데이터 조건에서도 효과적인 성능을 보인다.

ABSTRACT

The appearance of complex attention-based language models such as BERT, Roberta or GPT-3 has allowed to address highly complex tasks in a plethora of scenarios. However, when applied to specific domains, these models encounter considerable difficulties. This is the case of Social Networks such as Twitter, an ever-changing stream of information written with informal and complex language, where each message requires careful evaluation to be understood even by humans given the important role that context plays. Addressing tasks in this domain through Natural Language Processing involves severe challenges. When powerful state-of-the-art multilingual language models are applied to this scenario, language specific nuances use to get lost in translation. To face these challenges we present extbf{BERTuit}, the larger transformer proposed so far for Spanish language, pre-trained on a massive dataset of 230M Spanish tweets using RoBERTa optimization. Our motivation is to provide a powerful resource to better understand Spanish Twitter and to be used on applications focused on this social network, with special emphasis on solutions devoted to tackle the spreading of misinformation in this platform. BERTuit is evaluated on several tasks and compared against M-BERT, XLM-RoBERTa and XLM-T, very competitive multilingual transformers. The utility of our approach is shown with applications, in this case: a zero-shot methodology to visualize groups of hoaxes and profiling authors spreading disinformation. Misinformation spreads wildly on platforms such as Twitter in languages other than English, meaning performance of transformers may suffer when transferred outside English speaking communities.

연구 동기 및 목표

• 일반적인 다국어 언어 모델이 비공식적이고 맥락이 풍부한 트위터 스페인어 텍스트를 이해하는 데 한계를 보이는 문제를 해결하기 위해.
• 스페인어 원어민 트윗의 막대한 양에만 전용으로 훈련된 특화된 트랜스포머 모델을 개발하여 어휘적 뉘앙스, 아이러니, 문화적 맥락을 포착하기 위해.
• 도메인 최적화된 모델에서 유도된 세밀한 문맥 임베딩을 활용해 트위터에서의 악성 정보 탐지 및 분석을 향상시키기 위해.
• 의미 기반 임베딩을 활용해 악성 정보 확산자에 대한 효과적인 제로샷 시각화와 프로파일링을 가능하게 하기 위해.

제안 방법

• 트위터 아카이브에서 확보한 2억 3천만 개의 스페인어 트윗으로 구성된 정제된 데이터셋을 기반으로, BERT-base 아키텍처를 사용해 BERTuit를 처음부터 사전 훈련한다.
• RoBERTa 스타일 최적화 기법(동적 마스킹 및 다음 문장 예측 포함)을 적용해 문맥 표현 학습을 향상시킨다.
• 비공식적인 스페인어 트위터 텍스트에 특화된 문법적 및 의미적 패턴을 포착하기 위해 마스킹 언어 모델링을 사전 훈련 목적으로 사용한다.
• 다음 작업을 위한 표현을 위해 최종 트랜스포머 레이어를 통해 문맥 기반 트윗 임베딩을 생성한다.
• 고차원 임베딩을 2차원 공간으로 투영해 악성 정보 클러스터의 시각 분석을 위한 차원 축소를 위해 t-SNE를 적용한다.
• 사용자별로 트윗 수준의 임베딩을 평균화해 저자 프로파일링 및 분류를 위한 사용자 수준의 표현을 생성한다.

실험 결과

연구 질문

• RQ1 단일 언어, 트위터 최적화된 트랜스포머 모델이 소셜 미디어의 비공식적인 스페인어를 이해하는 데 다국어 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ2 BERTuit는 최신 다국어 모델 대비 스페인어 트위터 텍스트에서 아이러니, 혐오 발언, 감성 분석에 얼마나 효과적인가?
• RQ3 임베딩 기반 클러스터링 및 차원 축소를 통해 BERTuit가 악성 정보 클러스터의 제로샷 시각화를 어느 정도 가능하게 하는가?
• RQ4 BERTuit 임베딩을 사용해 악성 정보 확산자를 분류할 때, 사용자당 필요한 훈련 데이터의 양은 어느 정도인가?
• RQ5 훈련 효과적인 분류 모델을 구축할 때, 사용자 수(데이터 다양성)와 사용자당 트윗 수(데이터 양) 중 어떤 요소가 더 중요한가?

주요 결과

• BERTuit는 스페인어 트위터에서 혐오 발언 탐지, 아이러니 탐지, 감성 분석 등 다양한 NLP 과제에서 XLM-RoBERTa, M-BERT, XLM-T를 모두 능가했다.
• 사용자당 트윗 1개만으로도 악성 정보 확산자를 분류하는 데 74% 이상의 정확도를 달성해, 강력한 희소 학습 능력을 입증했다.
• 훈련 세트에 포함된 고유 사용자 수가 사용자당 트윗 수보다 더 높은 정확도 상관관계를 보였으며, 이는 데이터 다양성의 중요성을 강조한다.
• BERTuit 임베딩의 t-SNE 시각화 결과, 위조 정보 관련 콘텐츠가 의미 있는 클러스터로 분리되어, 제로샷으로 악성 정보 그룹을 효과적으로 식별할 수 있었다.
• 희소 트윗 샘플 조건에서도 모델이 스타일적 및 의미적 패턴을 효과적으로 포착해, 약한 트윗 샘플 조건에서도 견고한 저자 프로파일링을 가능하게 했다.
• 결과적으로, 소셜 미디어 데이터에 특화된 도메인 사전 훈련이 일반 다국어 모델 대비 비공식 언어 과제에서 성능을 크게 향상시킨다는 점을 확인했다.