[논문 리뷰] BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis

Hendri Murfi, Syamsyuriani외 3명|arXiv (Cornell University)|2022. 11. 10.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 인도네시아어 감성 분석을 위한 BERT 기반 하이브리드 딥러닝 모델을 제안한다. 이 모델은 컨volutional 네ural 네트워크(CNN)와 장기 단기 기억 네트워크(LSTM)를 결합하여, 문맥적 임bedding을 활용함으로써 표준 미세조정된 임베딩보다 감성 분류 정확도를 향상시킨다. BERT-LSTM-CNN 아키텍처는 모든 테스트된 하이브리드 구성 중에서 가장 높은 성능을 기록한다.

ABSTRACT

Sentiment analysis is the computational study of opinions and emotions ex-pressed in text. Deep learning is a model that is currently producing state-of-the-art in various application domains, including sentiment analysis. Many researchers are using a hybrid approach that combines different deep learning models and has been shown to improve model performance. In sentiment analysis, input in text data is first converted into a numerical representation. The standard method used to obtain a text representation is the fine-tuned embedding method. However, this method does not pay attention to each word's context in the sentence. Therefore, the Bidirectional Encoder Representation from Transformer (BERT) model is used to obtain text representations based on the context and position of words in sentences. This research extends the previous hybrid deep learning using BERT representation for Indonesian sentiment analysis. Our simulation shows that the BERT representation improves the accuracies of all hybrid architectures. The BERT-based LSTM-CNN also reaches slightly better accuracies than other BERT-based hybrid architectures.

연구 동기 및 목표

• 딥러닝을 활용하여 인도네시아어 텍스트의 감성 분류 정확도를 향상시키기 위해.
• 비문맥적 단어 임베딩의 한계를 해결하기 위해 BERT의 문맥적 표현을 통합하기 위해.
• CNN과 LSTM을 BERT 임베딩과 결합한 하이브리드 아키텍처의 효과성을 인도네시아어 NLP에서 평가하기 위해.
• 인도네시아어와 같은 저자원 언어에서 감성 분석을 위한 CNN, LSTM, BERT의 최적 조합을 규명하기 위해.

제안 방법

• 문장 수준의 문맥과 단어 위치를 포괄하는 문맥 기반 단어 임베딩을 생성하기 위해 BERT를 활용한다.
• 국소적 특징 추출을 위한 CNN과 감성 패턴의 순차적 모델링을 위한 LSTM을 조합한 하이브리드 아키텍처를 적용한다.
• 엔드 투 엔드 학습을 위해 BERT 임베딩을 미세조정하여 CNN-LSTM 모델의 입력으로 사용한다.
• BERT-CNN, BERT-LSTM, BERT-LSTM-CNN 등 다양한 BERT 기반 하이브리드 모델을 훈련 및 평가한다.
• 감성 분류를 위한 교차 엔트로피 손실과 소프트맥스 출력을 사용하는 표준 딥러닝 훈련 절차를 적용한다.

실험 결과

연구 질문

• RQ1 비문맥적 임베딩과 비교해 볼 때, BERT 임베딩 통합이 인도네시아어 텍스트의 감성 분류 정확도를 향상시키는가?
• RQ2 BERT-CNN, BERT-LSTM, BERT-LSTM-CNN 중 어느 하이브리드 아키텍처가 인도네시아어 감성 분석에서 가장 우수한 성능을 보이는가?
• RQ3 문맥 기반 BERT 표현의 사용이 저자원 언어 데이터에서 모델 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 CNN과 LSTM을 BERT와 조합하면 감성 분류 작업에서 단독 모델보다 성능이 뛰어나지 않는가?

주요 결과

• BERT 기반 표현은 비문맥적 임베딩과 비교해 모든 하이브리드 아키텍처의 정확도를 크게 향상시킨다.
• BERT-LSTM-CNN 모델은 모든 테스트된 구성 중에서 가장 높은 분류 정확도를 기록한다.
• 모든 BERT 기반 하이브리드 모델은 비-BERT 대비 모델보다 성능이 뛰어나며, 이는 인도네시아어 감성 분석에서 문맥 임베딩의 가치를 입증한다.
• BERT와 CNN, LSTM의 통합은 국소적 및 순차적 감성 패턴을 모두 효과적으로 포착함으로써 특징 학습 능력을 향상시킨다.