[논문 리뷰] Deep Multi-Task Model for Sarcasm Detection and Sentiment Analysis in Arabic Language

Abdelkader El Mahdaouy, Abdellah El Mekki외 4명|arXiv (Cornell University)|2021. 06. 23.

Sentiment Analysis and Opinion Mining참고 문헌 17인용 수 6

한 줄 요약

이 논문은 MARBERT를 사용하여 아랍어에서 풍자 탐지와 감성 분석을 동시에 수행하는 딥 다중작업 학습 모델을 제안한다. MARBERT는 다중작업 주의 상호작용 모듈을 갖춘 BERT 기반 모델로, 최신 기술 성능을 달성하여 아랍어 풍자 공동 과제에서 감성 분석 하위 과제에서 1위, 풍자 탐지 하위 과제에서 4위를 기록했다.

ABSTRACT

The prominence of figurative language devices, such as sarcasm and irony, poses serious challenges for Arabic Sentiment Analysis (SA). While previous research works tackle SA and sarcasm detection separately, this paper introduces an end-to-end deep Multi-Task Learning (MTL) model, allowing knowledge interaction between the two tasks. Our MTL model's architecture consists of a Bidirectional Encoder Representation from Transformers (BERT) model, a multi-task attention interaction module, and two task classifiers. The overall obtained results show that our proposed model outperforms its single-task counterparts on both SA and sarcasm detection sub-tasks.

연구 동기 및 목표

• 비유어를 다루는 도전 과제, 특히 감성 극성을 뒤바꾸는 풍자와 은유가 아랍어 감성 분석을 방해하는 문제를 해결하기 위해.
• 이전의 단일작업 접근 방식의 한계를 극복하기 위해 풍자 탐지와 감성 분석 간의 지식 공유를 가능하게 하기 위해.
• 공유 표현과 작업별 주의를 통해 두 하위 과제의 성능을 향상시키는 엔드 투 엔드 딥 다중작업 학습 모델을 개발하기 위해.
• MSA 및 방언 아랍어에서 레이블이 부여된 풍자와 감성 데이터를 포함한 ArSarcasm-v2 데이터셋에서 모델을 평가하기 위해.
• 학습 가능한 공유 행렬과 시그모이드 활성화를 통한 작업 상호작용이 풍자 및 감성 분류의 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 모델은 10억 개의 아랍어 트윗으로 사전 훈련된 BERT 기반 트랜스포머 모델인 MARBERT를 사용하여 문맥 기반 단어 임베딩을 생성한다.
• 다중작업 주의 상호작용 모듈은 풍자 및 감성 작업을 위한 두 개의 작업별 주의 레이어를 포함하여 특징을 구분적으로 추출한다.
• 이 모듈은 작업 간 지식 공유를 가능하게 하기 위해 학습 가능한 공유 행렬과 시그모이드 활성화를 사용한다.
• 풍자 탐지(이진)와 감성 분석(3클래스: 긍정, 부정, 중립)을 위한 두 개의 별도 분류기가 주의를 받은 표현에 적용된다.
• 고정된 초기 학습률 5×10⁻⁶, 배치 크기 64, 5 에포크로 Adam 옵timizer를 사용하여 엔드 투 엔드로 모델을 미세조정한다.
• 훈련 데이터는 80%는 훈련용, 20%는 개발용으로 분할되며, 평가에는 매크로 평균 F1, 정밀도, 재현도, 정확도가 사용된다.

실험 결과

연구 질문

• RQ1 풍자 탐지와 감성 분석을 공동으로 학습하면 아랍어 텍스트에서 두 작업의 성능 향상이 이루어지는가?
• RQ2 학습 가능한 공유 행렬을 갖춘 다중작업 주의 상호작용 모듈이 풍자 및 감성 작업 간 지식 이동에 얼마나 효과적인가?
• RQ3 작업별 주의 레이어를 통합함으로써 풍자 및 감성 분류를 위한 특징 표현이 향상되는가?
• RQ4 제안된 다중작업 모델은 풍자 및 감성 클래스의 F1 점수 측면에서 단일작업 베이스라인보다 어떻게 비교되는가?
• RQ5 모델의 성능은 다양한 아랍어 방언과 감성 극성에 따라 어느 정도로 변동하는가?

주요 결과

• MTL_ATTINTER 모델은 테스트 세트에서 풍자 탐지에 대해 가장 높은 F1 점수 0.7183을 기록하여 단일작업 및 기타 MTL 베이스라인을 모두 초월했다.
• 감성 분석에서는 테스트 세트에서 F1 점수 0.7107을 기록하여 공동 과제에서 제출된 모든 시스템 중 1위를 차지했다.
• 공식 ArSarcasm 공동 과제 평가에서 감성 분석 하위 과제에서 1위, 풍자 탐지 하위 과제에서 4위를 확보했다.
• 혼동 행렬을 통해 모델가 공유 신호를 효과적으로 활용하고 있음을 확인했으며, 특히 대부분의 풍자 트윗이 부정적이라는 점을 감안할 때, 풍자 및 부정 감성 클래스의 탐지 성능이 향상됨을 알 수 있었다.
• 작업별 주의 및 상호작용 메커니즘의 통합으로 개발 및 테스트 세트에서 F1, F1_Sarc, F1_PN 전반에 걸쳐 일관된 성능 향상이 이루어졌다.
• 모델는 불균형 데이터에서도 강건성을 보였으며, 낮은 빈도로 나타나는 풍자 클래스에 대해서도 뛰어난 성능을 보였다.