[논문 리뷰] Sarcasm Detection in Twitter -- Performance Impact while using Data Augmentation: Word Embeddings

Alif Tri Handoyo, Hidayaturrahman Hidayaturrahman외 1명|arXiv (Cornell University)|2021. 08. 23.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 RoBERTa를 사용한 문맥 기반 풍자 감지 모델을 제안하며, GloVe 단어 임베딩을 통한 데이터 증강을 통해 불균형한 트위터 데이터셋에서의 성능을 향상시킨다. 비속어 예시를 20% 증가시킴으로써 iSarcasm 데이터셋에서 F-스코어가 3.2% 향상되어 40.4%에서 37.2%로 개선되었으며, 더 나은 데이터 균형과 문맥 학습을 통해 감지 정확도가 향상됨을 보여준다.

ABSTRACT

Sarcasm is the use of words usually used to either mock or annoy someone, or for humorous purposes. Sarcasm is largely used in social networks and microblogging websites, where people mock or censure in a way that makes it difficult even for humans to tell if what is said is what is meant. Failure to identify sarcastic utterances in Natural Language Processing applications such as sentiment analysis and opinion mining will confuse classification algorithms and generate false results. Several studies on sarcasm detection have utilized different learning algorithms. However, most of these learning models have always focused on the contents of expression only, leaving the contextual information in isolation. As a result, they failed to capture the contextual information in the sarcastic expression. Moreover, some datasets used in several studies have an unbalanced dataset which impacting the model result. In this paper, we propose a contextual model for sarcasm identification in twitter using RoBERTa, and augmenting the dataset by applying Global Vector representation (GloVe) for the construction of word embedding and context learning to generate more data and balancing the dataset. The effectiveness of this technique is tested with various datasets and data augmentation settings. In particular, we achieve performance gain by 3.2% in the iSarcasm dataset when using data augmentation to increase 20% of data labeled as sarcastic, resulting F-score of 40.4% compared to 37.2% without data augmentation.

연구 동기 및 목표

• 풍자 표현이 종종 모호하고 인간으로서조차 해석하기 어려운 트위터에서 풍자를 탐지하는 데 도전하는 것.
• 기존 모델이 텍스트 콘텐츠에만 집중하고 문맥 정보를 간과하는 한계를 극복하는 것.
• 풍자 감지 작업에서 불균형한 데이터셋으로 인한 성능 저하를 완화하는 것.
• GloVe 임베딩을 사용한 데이터 증강이 풍자 감지에서 모델 일반화 능력과 F-스코어 향상에 미치는 영향을 탐색하는 것.
• 문맥 모델링(RoBERTa)과 증강된 균형 잡힌 학습 데이터를 결합하여 풍자 감지의 효과를 평가하는 것.

제안 방법

• 저자들은 트위터의 문맥적 표현을 깊이 있게 포착하기 위해 문맥 기반 언어 모델인 RoBERTa를 사용하여 풍자 감지에 활용한다.
• GloVe 단어 임베딩을 활용해 데이터 증강을 통해 합성된 학습 예제를 생성함으로써 비속어 예시 수를 20% 증가시킨다.
• 증강 과정은 GloVe 벡터 기반의 의미 유사도 및 단어 수준의 변환을 활용하여 비속어 예시를 추가함으로써 데이터셋의 균형을 맞춘다.
• iSarcasm를 포함한 여러 데이터셋에서 모델을 미세조정하여 다양한 데이터 증강 설정에서의 성능을 평가한다.
• F-스코어를 사용하여 성능을 평가하며, 데이터 증강 여부에 따라 학습된 모델 간의 비교를 수행한다.
• 문맥 모델링과 임베딩 기반 데이터 증강을 결합하여 불균형한 풍자 감지 작업에서 모델의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 GloVe 임베딩을 사용한 데이터 증강이 불균형한 트위터 데이터셋에서 풍자 감지 성능을 향상시키는가?
• RQ2 RoBERTa를 통한 문맥 정보 통합이 표면적 텍스트 분석을 넘어서 풍자 감지 능력을 얼마나 향상시키는가?
• RQ3 증강을 통해 비속어 예시 비율을 높임으로써 F-스코어와 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ4 임베딩 기반 데이터 증강이 데이터셋을 효과적으로 균형 잡고 풍자 감지 모델의 편향을 줄이는 데 기여하는가?
• RQ5 다양한 풍자 감지 데이터셋에서 제안된 방법의 비교적 성능 향상은 어느 정도인가?

주요 결과

• 제안된 방법은 데이터 증강을 통해 iSarcasm 데이터셋에서 F-스코어가 3.2%p 상승하여 40.4%에 도달했으며, 증강 없이 37.2%였던 것과 비교하여 성능 향상이 확인되었다.
• GloVe 임베딩 기반 데이터 증강은 데이터셋을 효과적으로 균형 잡아주어 클래스 불균형이 모델 성능에 미치는 부정적 영향을 줄였다.
• RoBERTa와 GloVe 기반 증강의 통합은 문맥적 뉘앙스를 더 잘 포착함으로써 풍자 감지 능력을 크게 향상시켰다.
• 성능 향상은 특히 iSarcasm 데이터셋에서 두드러졌으며, 비속어 예시를 20% 증가시킨 후 F-스코어가 37.2%에서 40.4%로 상승했다.
• 결과적으로, 문맥 모델링과 임베딩 기반 데이터 증강을 결합하는 것이 자원이 제한되고 불균형한 환경에서의 풍자 감지에 효과적임을 입증했다.
• 이 연구는 사전 학습된 단어 임베딩(GloVe 등)을 활용한 데이터 증강이 풍자 감지 작업에서 모델 일반화 능력을 향상시키는 실용적인 전략임을 확인했다.