[논문 리뷰] Arabic aspect based sentiment analysis using BERT.

Mohammed M. Abdelgwad|arXiv (Cornell University)|2021. 07. 28.

Sentiment Analysis and Opinion Mining참고 문헌 31인용 수 5

한 줄 요약

이 논문은 문맥 임베딩과 문장 쌍 입력을 활용하여 감성 분류 성능을 향상시키기 위해 BERT 기반 신경 모델을 제안한다. 아랍어 목적어 기반 감성 분석(ABSA)을 위한 것으로, 기준 아랍어 호텔 리뷰 데이터셋에서 최신 기술 수준의 성능을 달성하며, 정적 단어 임베딩에 의존하는 이전 방법들을 능가한다.

ABSTRACT

Aspect-based sentiment analysis(ABSA) is a textual analysis methodology that defines the polarity of opinions on certain aspects related to specific targets. The majority of research on ABSA is in English, with a small amount of work available in Arabic. Most previous Arabic research has relied on deep learning models that depend primarily on context-independent word embeddings (e.g.word2vec), where each word has a fixed representation independent of its context. This article explores the modeling capabilities of contextual embeddings from pre-trained language models, such as BERT, and making use of sentence pair input on Arabic ABSA tasks. In particular, we are building a simple but effective BERT-based neural baseline to handle this task. Our BERT architecture with a simple linear classification layer surpassed the state-of-the-art works, according to the experimental results on the benchmarked Arabic hotel reviews dataset.

연구 동기 및 목표

• 사전 언어 모델의 문맥 임베딩을 활용하여 아랍어 목적어 기반 감성 분석 분야의 연구 부족을 보완하고자 한다.
• BERT에서 유래한 문맥 기반 표현으로 문맥 독립적 단어 임베딩을 대체하여 아랍어 감성 분류 정확도를 향상시키고자 한다.
• 문장 쌍 입력을 사용하여 단순하지만 효과적인 BERT 기반 아랍어 ABSA 기준 모델을 개발하고자 한다.
• 문맥 임베딩이 아랍어 텍스트에서 특정 목적어에 대한 미묘한 감성 극성 표현을 포착하는 데 얼마나 효과적인지 평가하고자 한다.
• 기준 아랍어 호텔 리뷰 데이터셋에서 새로운 최신 기술 수준 결과를 확립하고자 한다.

제안 방법

• 각 입력이 리뷰 문장과 목적어 어간으로 구성된 문장 쌍 입력을 사용하여 사전 훈련된 BERT 모델을 아랍어 ABSA 데이터셋에 맞춤 조정한다.
• BERT의 [CLS] 토큰 표현 위에 간단한 선형 분류층을 적용하여 감성 극성 예측한다.
• BERT에서 유도된 문맥 임베딩을 사용하며, 이는 word2vec과 같은 정적 임베딩과 달리 주변 맥락에 따라 동적 단어 표현을 생성한다.
• 다중 클래스 감성 분류를 위한 표준 교차 엔트로피 손실을 사용하여 모델을 종합적으로 훈련한다.
• 다국어 BERT 체크포인트를 아랍어 ABSA 작업에 적응시키기 위해 전이 학습을 활용한다.
• BERT의 입력 시퀀스를 [CLS] 및 [SEP] 특수 토큰으로 처리하여 문장 쌍 입력을 구조화한다.

실험 결과

연구 질문

• RQ1 정적 단어 임베딩과 비교하여 BERT의 문맥 임베딩이 아랍어 목적어 기반 감성 분석 성능 향상에 기여하는가?
• RQ2 선형 분류기와 함께 단순한 BERT 기반 모델이 아랍어 ABSA 작업에 얼마나 효과적인가?
• RQ3 문장 쌍 입력(리뷰 문장 + 목적어 어간)을 사용하면 특정 목적어에 대한 감성 감지 능력이 향상되는가?
• RQ4 맞춤 조정된 BERT 모델이 기준 아랍어 ABSA 데이터셋에서 최신 기술 수준 결과를 달성할 수 있는가?
• RQ5 제안된 접근법은 아랍어 ABSA 분야의 이전 최신 기술 수준 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 선형 분류층을 갖춘 제안된 BERT 기반 모델이 기준 아랍어 호텔 리뷰 데이터셋에서 최신 기술 수준 성능을 초월하였다.
• BERT에서 유도한 문맥 임베딩을 사용함으로써, word2vec과 같은 정적 단어 임베딩을 사용하는 모델 대비 감성 분류 성능이 크게 향상되었다.
• 간단한 아키텍처임에도 불구하고 모델은 목적어 기반 감성 탐지에 강력한 일반화 능력을 보였다.
• 문장 쌍 입력 형식이 아랍어 텍스트에서 특정 목적어에 대한 감성에 초점을 맞추는 데 효과적으로 기여하였다.
• 사전 훈련된 언어 모델인 BERT를 사용한 전이 학습이 아랍어 ABSA와 같은 저자원 NLP 작업에 매우 효과적임을 확인하였다.
• 복잡한 아키텍처 수정 없이도 뛰어난 성능을 달성하였으며, 이는 아랍어 NLP에서 문맥 표현의 힘을 입증한다.