[논문 리뷰] Plumeria at SemEval-2022 Task 6: Robust Approaches for Sarcasm Detection for English and Arabic Using Transformers and Data Augmentation

Shubham Kumar Nigam, Mosab Shaheen|arXiv (Cornell University)|2022. 03. 08.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 SemEval-2022 이벤트의 6번 과제를 위해 영어 및 아랍어를 대상으로 한 Plumeria의 강력한 비꼬임 감지 시스템을 제시한다. BERT 기반 트랜스포머를 사용하며, 데이터 증강 및 전처리 전략을 적용하여 일관된 최상위 성능을 기록했다. 세 하위 과제에서 4위, 한 하위 과제에서 6위를 기록하여 다국어 비꼬임 감지 과제에서 모델의 안정성과 효과성을 입증했다. 전략적 데이터셋 증강 및 피지테이닝을 통해 성능 향상을 이룬 바 있다.

ABSTRACT

This paper describes our submission to SemEval-2022 Task 6 on sarcasm detection and its five subtasks for English and Arabic. Sarcasm conveys a meaning which contradicts the literal meaning, and it is mainly found on social networks. It has a significant role in understanding the intention of the user. For detecting sarcasm, we used deep learning techniques based on transformers due to its success in the field of Natural Language Processing (NLP) without the need for feature engineering. The datasets were taken from tweets. We created new datasets by augmenting with external data or by using word embeddings and repetition of instances. Experiments were done on the datasets with different types of preprocessing because it is crucial in this task. The rank of our team was consistent across four subtasks (fourth rank in three subtasks and sixth rank in one subtask); whereas other teams might be in the top ranks for some subtasks but rank drastically less in other subtasks. This implies the robustness and stability of the models and the techniques we used.

연구 동기 및 목표

• SemEval-2022 공동 과제에서 다양한 하위 과제와 언어에 일반화할 수 있는 강력한 비꼬임 감지 시스템을 개발하는 것.
• 비꼬임 감지에서 클래스 불균형과 제한된 학습 데이터 문제를 해결하기 위해 반복 및 단어 임베딩 기반 방법을 활용한 증강 데이터셋을 생성하는 것.
• 다국어 비꼬임 감지에서 전처리 전략, 손실 함수, 하이퍼파라미터의 영향을 평가하는 것.
• 단독 트랜스포머 모델과 계층적 트랜스포머-BiLSTM 아키텍처의 비꼬임 분류 성능를 비교하는 것.
• 하위 과제 간 성능의 일관성을 확보하여 일반적으로 일부 과제에선 높은 성능를 보이고 다른 과제에선 낮은 성능를 보이는 문제를 방지하는 것.

제안 방법

• 영어 및 아랍어 비꼬임 감지에 대해 원본 및 증강 데이터셋을 사용하여 BERT-base 및 BERT-large 모델(대/소문자 구분 여부 상관없이)을 피지테이닝하는 것.
• 입력 표현 최적화를 위해 네 가지 전처리 유형(Type I–IV)을 적용하였으며, Type II가 가장 높은 검증 성능를 기록하였다.
• 원본 데이터와 외부 비꼬임 데이터셋을 결합하고, 단어 임베딩 반복 및 인스턴스 복제를 통해 데이터 증강을 적용하여 증강 데이터셋을 생성하는 것.
• 트랜스포머 인코더 위에 BiLSTM 레이어를 스태킹하여 계층적 아키텍처를 구현하였으며, 주의 메커니즘을 포함하거나 제거한 버전을 모두 사용하여 맥락 이해를 향상시키는 것.
• 특히 비꼬임 대비 비비꼬임 비율이 불균형한 하위 과제에서의 클래스 불균형 문제를 해결하기 위해 가중치가 부여된 교차 엔트로피 손실 함수를 사용하는 것.
• 검증 성능에 기반하여 모델을 선별하고, 최적의 하이퍼파rameter(예: 초기 학습률 8e-6 또는 3e-5)와 Type-II 전처리를 포함한 최고 성능 설정을 사용하여 결과를 제출하는 것.

실험 결과

연구 질문

• RQ1 다양한 전처리 전략(Type I–IV)이 트랜스포머 기반 비꼬임 감지 모델의 성능에 어떤 영향을 미치는가?
• RQ2 단어 임베딩 또는 인스턴스 반복을 활용한 데이터 증강이 하위 과제 전반에서 모델의 일반화 능력과 강건성에 얼마나 기여하는가?
• RQ3 주의 메커니즘을 포함하거나 제거한 계층적 트랜스포머-BiLSTM 모델이 단독 트랜스포머 모델보다 비꼬임 감지에서 더 뛰어난 성능를 보일 수 있는가?
• RQ4 가중치가 부여된 손실 함수의 사용이 불균형한 비꼬임 감지 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ5 원본 데이터와 외부 데이터셋의 조합이 다국어 비꼬임 감지에서 여러 하위 과제에 걸쳐 더 안정적이고 일관된 성능를 제공하는가?

주요 결과

• 팀은 세 하위 과제에서 일관된 4위, 한 하위 과제에서 6위를 기록하여 다양한 평가 조건에서도 강력하고 안정적인 성능를 입증하였다.
• 하위 과제 C(영어)에서 Type-I 전처리를 적용한 BERT-large(cased) 모델은 테스트 정확도 0.79를 기록하여 공식 랭킹에서 4위를 차지하였다.
• 하위 과제 C(아랍어)에서 Type-II 전처리를 적용한 CAMeLBERT-Mix 모델은 테스트 정확도 0.87을 기록하여 랭킹에서 4위를 차지하였다.
• 특히 임베딩 기반 반복 및 외부 데이터를 활용한 증강 데이터셋 사용이, 자원이 제한된 환경에서 모델 성능 향상에 크게 기여하였다.
• Type-II 전처리는 검증 성능에서 다른 전처리 유형보다 항상 뛰어나, 최종 제출에 이르러서도 이 유형을 사용하는 것이 타당하다고 입증되었다.
• 최적의 하이퍼파라미터(학습률, 에포크 수)와 가중치가 부여된 손실 함수를 적용한 피지테이닝된 단독 BERT 모델이 하위 과제 A와 B에서 가장 우수한 성능를 기록하였다.