[论文解读] BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis

Hendri Murfi, Syamsyuriani+3 more|arXiv (Cornell University)|Nov 10, 2022

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出了一种基于 BERT 的混合深度学习模型，结合卷积神经网络（CNN）与长短期记忆网络（LSTM），用于印度尼西亚语情感分析。通过利用 BERT 的上下文嵌入，该模型在标准微调嵌入的基础上提升了情感分类准确率，其中 BERT-LSTM-CNN 架构在所有测试的混合配置中表现最佳。

ABSTRACT

Sentiment analysis is the computational study of opinions and emotions ex-pressed in text. Deep learning is a model that is currently producing state-of-the-art in various application domains, including sentiment analysis. Many researchers are using a hybrid approach that combines different deep learning models and has been shown to improve model performance. In sentiment analysis, input in text data is first converted into a numerical representation. The standard method used to obtain a text representation is the fine-tuned embedding method. However, this method does not pay attention to each word's context in the sentence. Therefore, the Bidirectional Encoder Representation from Transformer (BERT) model is used to obtain text representations based on the context and position of words in sentences. This research extends the previous hybrid deep learning using BERT representation for Indonesian sentiment analysis. Our simulation shows that the BERT representation improves the accuracies of all hybrid architectures. The BERT-based LSTM-CNN also reaches slightly better accuracies than other BERT-based hybrid architectures.

研究动机与目标

• 通过深度学习提升印度尼西亚语文本的情感分类准确率。
• 通过整合 BERT 的上下文表示，解决非上下文词嵌入的局限性。
• 评估结合 CNN 与 LSTM 的混合架构在印度尼西亚语自然语言处理中使用 BERT 嵌入的有效性。
• 识别在低资源语言（如印度尼西亚语）中情感分析任务下，CNN、LSTM 与 BERT 的最优组合。

提出的方法

• 利用 BERT 生成捕捉句子级别上下文与词位置信息的上下文嵌入。
• 采用混合架构，结合 CNN 进行局部特征提取与 LSTM 进行情感模式的序列建模。
• 将微调后的 BERT 嵌入作为输入，用于 CNN-LSTM 模型，实现端到端学习。
• 训练并评估多种基于 BERT 的混合模型，包括 BERT-CNN、BERT-LSTM 与 BERT-LSTM-CNN。
• 应用标准深度学习训练流程，使用交叉熵损失与 softmax 输出进行情感分类。

实验结果

研究问题

• RQ1 与非上下文嵌入相比，集成 BERT 嵌入是否能提升印度尼西亚语文本的情感分类准确率？
• RQ2 在印度尼西亚语情感分析中，哪种混合架构——BERT-CNN、BERT-LSTM 或 BERT-LSTM-CNN——表现最佳？
• RQ3 使用上下文化的 BERT 表示如何影响模型在低资源语言数据上的泛化能力与性能？
• RQ4 CNN 与 LSTM 与 BERT 的结合是否能超越独立模型在情感分类任务中的表现？

主要发现

• 基于 BERT 的表示显著提升了所有混合架构的准确率，相较非上下文嵌入有明显提升。
• BERT-LSTM-CNN 模型在所有测试配置中达到最高分类准确率。
• 所有基于 BERT 的混合模型均优于其非 BERT 对应模型，证明了上下文嵌入在印度尼西亚语情感分析中的价值。
• 将 BERT 与 CNN 及 LSTM 结合，增强了特征学习能力，尤其在捕捉局部与序列情感模式方面表现突出。