[논문 리뷰] AraBERT and Farasa Segmentation Based Approach For Sarcasm and Sentiment Detection in Arabic Tweets

Anshul Wadhawan|arXiv (Cornell University)|2021. 03. 02.

Sentiment Analysis and Opinion Mining인용 수 16

한 줄 요약

이 논문은 ArSarcasm-v2 데이터셋에 대해 미세조정된 AraBERT 및 AraELECTRA 모델을 사용하여 아랍어 트윗에서 풍자 및 감성 분석을 위한 이단계적 접근법을 제시한다. Farasa 분할 및 노이즈 제거를 통한 전처리가 모델 성능을 향상시켰으며, 풍자 탐지에서 85.55%의 F1 점수와 감성 분석에서 76.41%의 F1 점수를 기록하여 공동 과제에서 각각 7위 및 4위를 기록했다.

ABSTRACT

This paper presents our strategy to tackle the EACL WANLP-2021 Shared Task 2: Sarcasm and Sentiment Detection. One of the subtasks aims at developing a system that identifies whether a given Arabic tweet is sarcastic in nature or not, while the other aims to identify the sentiment of the Arabic tweet. We approach the task in two steps. The first step involves pre processing the provided ArSarcasm-v2 dataset by performing insertions, deletions and segmentation operations on various parts of the text. The second step involves experimenting with multiple variants of two transformer based models, AraELECTRA and AraBERT. Our final approach was ranked seventh and fourth in the Sarcasm and Sentiment Detection subtasks respectively.

연구 동기 및 목표

• 저자원 아랍어 소셜 미디어 텍스트에서 풍자 및 감성 분석의 과제를 해결하기 위해.
• 대상 텍스트 전처리를 적용하여 아랍어 풍자 및 감성 분류 성능을 향상시키기 위해.
• ArSarcasm-v2 데이터셋에서 AraBERT 및 AraELECTRA 모델의 효과를 평가하기 위해 풍자 및 감성 탐지 작업에 대해.
• 모델 미세조정 및 전처리 최적화를 통해 EACL WANLP-2021 공동 과제에서 경쟁력 있는 성능을 달성하기 위해.

제안 방법

• HTML 마크업, URL, 멘션, 이메일, 이모티콘 및 여유 있는 공백을 제거하여 ArSarcasm-v2 데이터셋 전처리.
• 특정 모델을 위한 형태적 표현을 향상시키기 위해 Farasa 분할 적용.
• 구두점, 숫자 및 비아랍 문자 주변에 공백 삽입을 통해 토크나이제이션 향상.
• Hugging Face의 Transformers API를 사용하여 AraBERT 및 AraELECTRA 모델의 여러 변종을 미세조정.
• 학습률 1e-5, 배치 크기 40(베이스) 또는 4(라지), 최대 시퀀스 길이 256을 10 에포크 동안 사용.
• 최종 테스트 제출을 위해 검증 세트의 F1 점수 기반으로 최고 성능을 보인 모델 변종 선택.

실험 결과

연구 질문

• RQ1 Farasa 분할 및 노이즈 제거 전처리가 아랍어 트윗의 풍자 및 감성 분석 성능에 어떤 영향을 미치는가?
• RQ2 ArSarcasm-v2 데이터셋에서 풍자 및 감성 분류에 대해 AraBERT 및 AraELECTRA 모델 변종 중 어떤 것이 가장 우수한 성능을 보이는가?
• RQ3 Transformer 기반 모델이 아랍어 텍스트에 대해 미세조정된 후 저자원 풍자 및 감성 분석 과제에서 강력한 성능을 달성할 수 있는가?
• RQ4 모델 크기(베이스 대 라지) 및 버전(v0.1에서 v2까지)가 분류 성능에 어떤 영향을 미치는가?

주요 결과

• AraBERTv2-base가 풍자 탐지 과제(Subtask 1)에서 최고의 F1 점수 85.55%를 기록하여 비공개 랭킹에서 7위를 기록했다.
• AraBERTv0.2-large가 감성 탐지 과제(Subtask 2)에서 최고의 F1 점수 76.41%를 기록하여 비공개 랭킹에서 4위를 기록했다.
• AraELECTRA-base-generator 모델은 모든 과제에서 가장 열악한 성능을 보였으며, 이는 GAN 기반 아키텍처가 텍스트 분류에 최적화되어 있지 않기 때문일 것이다.
• 모델 성능은 더 큰 아키텍처일수록 향상되었으며, 이는 AraBERTv0.2-large가 베이스 버전보다 더 높은 F1 점수를 기록한 것으로 나타났다.
• URL 및 멘션 대체 및 공백 정규화와 같은 전처리 단계는 노이즈를 크게 감소시키고 모델 일반화 능력을 향상시켰다.
• 학습률 1e-5와 10 에포크로의 미세조정이 테스트된 모든 모델 변종에서 최적의 결과를 도출했다.