[논문 리뷰] HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition

Avihay Chriqui, Inbal Yahav|arXiv (Cornell University)|2021. 02. 03.

Sentiment Analysis and Opinion Mining참고 문헌 55인용 수 15

한 줄 요약

이 논문은 현대 hebrew어를 위한 BERT 기반 언어 모델인 HeBERT와 사용자 생성 콘텐츠에서 긍정성 및 정서 인식을 위한 HeBERT 기반 도구인 HebEMO를 소개한다. HeBERT는 표준 NLP 작업 전반에서 기존 히브리어 모델을 능가하며, HebEMO는 긍정성 분류에서 F1 스코어 0.96, 정서 탐지에서 0.78~0.97을 기록하여 심지어 최신 영어 모델조차도 능가한다.

ABSTRACT

This paper introduces HeBERT and HebEMO. HeBERT is a Transformer-based model for modern Hebrew text, which relies on a BERT (Bidirectional Encoder Representations for Transformers) architecture. BERT has been shown to outperform alternative architectures in sentiment analysis, and is suggested to be particularly appropriate for MRLs. Analyzing multiple BERT specifications, we find that while model complexity correlates with high performance on language tasks that aim to understand terms in a sentence, a more-parsimonious model better captures the sentiment of entire sentence. Either way, out BERT-based language model outperforms all existing Hebrew alternatives on all common language tasks. HebEMO is a tool that uses HeBERT to detect polarity and extract emotions from Hebrew UGC. HebEMO is trained on a unique Covid-19-related UGC dataset that we collected and annotated for this study. Data collection and annotation followed an active learning procedure that aimed to maximize predictability. We show that HebEMO yields a high F1-score of 0.96 for polarity classification. Emotion detection reaches F1-scores of 0.78-0.97 for various target emotions, with the exception of surprise, which the model failed to capture (F1 = 0.41). These results are better than the best-reported performance, even among English-language models of emotion detection.

연구 동기 및 목표

• 현대 히브리어를 위해 특화된 고성능 BERT 기반 언어 모델을 개발하여, 이 언어에 대한 강력한 사전 학습된 모델의 부족을 보완한다.
• 특히 비공식적이고 다양한 온라인 출처에서 온 사용자 생성 콘텐츠(UKC)에서 정서 극성 및 정서를 탐지할 수 있는 도구인 HebEMO를 개발한다.
• 활성 학습을 활용하여 코로나19 관련 히브리어 UGC 데이터셋을 수집하고 주석 처리하여 정서 및 극성 작업의 예측 성능을 극대화한다.
• 더 간결한 BERT 아키텍처가 히브리어 문장 수준의 정서 이해에서 복잡한 변종보다도 뛰어난 성능을 낼 수 있음을 입증한다.
• 기존의 히브리어 및 영어 모델을 뛰어넘는 새로운 최고의 성능 기준을 설정하여, 히브리어 정서 및 정서 분석 분야의 새로운 기준을 마련한다.

제안 방법

• 대규모 현대 히브리어 코퍼스를 기반으로 BERT 기반 아키텍처를 미세조정하여, 히브리어 NLP 작업에 최적화된 문맥 기반 언어 표현 모델인 HeBERT를 개발한다.
• 코로나19 논의에 초점을 맞춘 독자적인 히브리어 UGC 데이터셋을 수집하고 활성적으로 주석 처리하여, 정확도와 예측 성능을 향상시킨다.
• 주석 처리 과정에서 활성 학습을 적용하여 불확실하거나 정보가 풍부한 샘플을 우선순위로 삼아, 모델의 일반화 능력과 성능을 향상시킨다.
• HebEMO에서 HeBERT를 기본 인코더로 사용하고, 시퀀스 분류 헤드를 활용해 극성 분류 및 다중 클래스 정서 인식에 대해 미세조정한다.
• 표준 NLP 평가 지표, 특히 F1 스코어를 활용하여 정서 및 정서 탐지 작업의 성능을 평가한다.
• 다양한 정서 유형 간 성능을 비교하여, 정서 탐지에서 놀라움을 탐지하는 데 어려움이 있음을 확인하며, 이는 주석 일관성 부족 또는 데이터 부족 때문일 수 있다.

실험 결과

연구 질문

• RQ1 기존 대안들, 특히 정서 이해 분야에서 BERT 기반 모델이 히브리어 NLP 작업에서 뛰어난 성능을 낼 수 있는가?
• RQ2 더 작고 단순한 BERT 아키텍처가 히브리어 문장 수준의 정서 이해에서 더 큰 복잡한 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ3 도메인 특화된 활성 주석 처리 UGC 데이터셋으로 훈련된 모델이 히브리어의 극성 및 정서 탐지에서 높은 성능을 달성할 수 있는가?
• RQ4 저자원 언어인 히브리어임에도 불구하고, HebEMO의 정서 탐지 성능은 최신 영어 모델과 비교해 어떻게 되는가?
• RQ5 왜 모델이 놀라움을 효과적으로 탐지하지 못하는가? 이는 저자원 환경에서 데이터 품질이나 모델 일반화 능력에 대한 통찰을 제공하는가?

주요 결과

• HeBERT는 표준 NLP 벤치마크 전반에서 기존의 모든 히브리어 언어 모델을 능가하며, 히브리어 표현 학습 분야에서 새로운 최고의 성능을 확립한다.
• HebEMO는 극성 분류에서 F1 스코어 0.96을 기록하여 히브리어 정서 분석에서 거의 전문가 수준의 성능을 보여준다.
• 정서 탐지 성능은 정서 유형에 따라 다르며, F1 스코어 범위는 0.78에서 0.97까지 다양하다. 이는 대부분의 정서에 대해 강력한 성능을 보임을 시사한다.
• 모델은 놀라움을 탐지하는 데 어려움을 겪으며, F1 스코어가 단지 0.41에 불과하여 이 정서에 대한 데이터 부족 또는 주석 처리 과정의 도전 과제를 시사한다.
• 저자원 언어임에도 불구하고, HebEMO는 여러 평가 환경에서 보고된 최고의 영어 정서 탐지 모델의 성능을 뛰어넘는다.
• 이 연구는 모델의 단순성이 히브리어 문장 수준의 정서 이해를 향상시킬 수 있음을 확인하며, 더 큰 모델이 항상 더 나은 결과를 낸다는 가정을 도전한다.