[논문 리뷰] Combining Context-Free and Contextualized Representations for Arabic Sarcasm Detection and Sentiment Identification

Amey Hengle, Atharva Kshirsagar외 2명|arXiv (Cornell University)|2021. 03. 09.

Sentiment Analysis and Opinion Mining참고 문헌 28인용 수 9

한 줄 요약

이 논문은 아라베르트(AraBERT)에서 유도한 문맥 기반 표현과 마자자크(Mazajak)에서 유도한 정적 단어 임베딩을 조합하여 아랍어 속마음 및 감성 탐지 성능을 향상시키는 하이브리드 딥러닝 모델을 제안한다. 이러한 상호보완적인 표현을 융합함으로써 모델은 F1-속마음 점수 0.62와 F-PN 점수 0.715를 기록하며, 아라베르트(AraBERT) 단독 기반 모델을 포함한 기준 모델들을 능가한다. 이는 정적 단어 벡터가 희귀어 및 비공식적인 소셜미디어 언어 처리에 있어 성능 향상에 기여함을 시사한다.

ABSTRACT

Since their inception, transformer-based language models have led to impressive performance gains across multiple natural language processing tasks. For Arabic, the current state-of-the-art results on most datasets are achieved by the AraBERT language model. Notwithstanding these recent advancements, sarcasm and sentiment detection persist to be challenging tasks in Arabic, given the language's rich morphology, linguistic disparity and dialectal variations. This paper proffers team SPPU-AASM's submission for the WANLP ArSarcasm shared-task 2021, which centers around the sarcasm and sentiment polarity detection of Arabic tweets. The study proposes a hybrid model, combining sentence representations from AraBERT with static word vectors trained on Arabic social media corpora. The proposed system achieves a F1-sarcastic score of 0.62 and a F-PN score of 0.715 for the sarcasm and sentiment detection tasks, respectively. Simulation results show that the proposed system outperforms multiple existing approaches for both the tasks, suggesting that the amalgamation of context-free and context-dependent text representations can help capture complementary facets of word meaning in Arabic. The system ranked second and tenth in the respective sub-tasks of sarcasm detection and sentiment identification.

연구 동기 및 목표

• 모ор포로지적 복잡성, 방언의 다양성, 비공식적 언어가 두드러지는 아랍어 소셜미디어 텍스트에서 속마음과 감성 탐지 문제를 해결하기 위해.
• 문맥에 의존하지 않는 단어 임베딩과 문맥 기반 문장 표현을 융합하여 속마음 및 감성 탐지 성능을 향상시키기 위해.
• 사전에 학습된 정적 단어 벡터가 아랍어 트윗에서 희귀어 및 슬랭어를 더 잘 다룰 수 있도록 아라베르트의 문맥 기반 표현을 보완할 수 있는지 조사하기 위해.
• 특히 소수의 클래스인 속마음 또는 긍정/부정 감성에 대해 불균형 데이터셋에서도 잘 작동하는 견고한 시스템을 개발하기 위해.
• 대규모 소셜미디어 코퍼스에서 아라베르트를 미세조정하는 데 드는 계산 비용이 크고 종종 실현 가능하지 않은 점을 감안해 실용적인 대안을 제공하기 위해.

제안 방법

• 모델은 아라베르트에서 유도한 문장 수준의 표현과 마자자크에서 사전에 학습한 정적 단어 임베딩을 융합한다. 마자자크는 대규모 아랍어 트위터 코퍼스에서 학습되었다.
• 하이브리드 표현은 콘볼루션 신경망과 양방향 리커런트 신경망(BiLSTM) 아키텍처에 입력되며, 병합된 분류 레이어를 통해 동시에 속마음 및 감성 분류를 학습한다.
• 모델은 Adam 옵timizer를 사용하여 학습되며, 기본 학습률은 5e-5, 가중치 감쇠, 조기 정지 기법을 적용하여 과적합을 방지한다.
• 시스템은 희소 카테고리 교차 엔트로피 손실을 사용하며, 학습 안정화를 위해 기울기 클리핑(clipnorm = 1.0)을 적용한다.
• 최종 분류 레이어는 속마음 및 감성 헤드의 출력을 통합하여 엔드 투 엔드로 공동 학습이 가능하도록 구성된다.
• 하이퍼파라미터는 검증 세트에서 튜닝되며, 결과는 다섯 번의 랜덤 실행 평균을 통해 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 문맥에 의존하지 않는 단어 임베딩과 문맥 기반 문장 표현을 융합하면 아라베르트와 같은 최신 기술 모델을 초월하여 아랍어 속마음 탐지 성능을 향상시킬 수 있는가?
• RQ2 소셜미디어 데이터에서 학습된 마자자크 임베딩을 사용하면 희귀어 및 비공식적인 아랍어 단어의 속마음 탐지 성능 향상에 기여하는가?
• RQ3 하이브리드 모델은 아라베르트 단독 모델 대비 클래스 불균형 문제, 특히 소수의 클래스인 속마음 또는 긍정/부정 감성에 대해 어떻게 대응하는가?
• RQ4 정적 단어 벡터가 아랍어 트윗의 비유적 언어 탐지에서 아라베르트의 문맥 이해 능력을 얼마나 잘 보완하는가?
• RQ5 표현 융합으로 인한 성능 향상은 다수의 실행에 걸쳐 통계적으로 유의미하고 견고한가?

주요 결과

• 제안된 모델은 F1-속마음 점수 0.62를 기록하여 기준 아라베르트 모델의 0.52 점수 대비 10퍼센트 포인트 향상된 성과를 보였다.
• 감성 식별 성능에서는 F-PN 점수 0.715를 기록하여 기준 아라베르트 모델의 0.67 점수를 능가하였다.
• 모델은 소수의 클래스에서 높은 재현율을 보이며, 속마음 및 감성 탐지 과제에서 불균형 문제에 대한 일반화 능력과 견고성을 향상시켰다.
• 이전 최신 기술 시스템, 즉 아라베르트 또는 마자자크 임베딩 단독 기반 시스템을 포함하여 모든 평가 지표에서 하이브리드 모델이 승리하였다.
• 성능 향상은 아라베르트(문맥 이해)와 마자자크(희귀어 및 비공식어 처리)의 상호보완적 강점을 바탕으로 한 미묘한 언어적 특징을 보다 잘 포착할 수 있었기 때문으로 기인된다.
• 2021년 WANLP ArSarcasm 공동 과제에서 속마음 탐지 부문 2위, 감성 식별 부문 10위를 기록하여 경쟁력 있는 성능을 입증하였다.