[論文レビュー] BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis

Hendri Murfi, Syamsyuriani+3 more|arXiv (Cornell University)|Nov 10, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）と長短期記憶ネットワーク（LSTM）を組み合わせた、BERTに基づくハイブリッド深層学習モデルを、インドネシア語のセンチメント分析に提案する。BERTの文脈に依存する埋め込み表現を活用することで、標準的な微調整済み埋め込み表現よりもセンチメント分類の精度が向上し、BERT-LSTM-CNNアーキテクチャが全テスト済みハイブリッド構成の中で最高のパフォーマンスを達成した。

ABSTRACT

Sentiment analysis is the computational study of opinions and emotions ex-pressed in text. Deep learning is a model that is currently producing state-of-the-art in various application domains, including sentiment analysis. Many researchers are using a hybrid approach that combines different deep learning models and has been shown to improve model performance. In sentiment analysis, input in text data is first converted into a numerical representation. The standard method used to obtain a text representation is the fine-tuned embedding method. However, this method does not pay attention to each word's context in the sentence. Therefore, the Bidirectional Encoder Representation from Transformer (BERT) model is used to obtain text representations based on the context and position of words in sentences. This research extends the previous hybrid deep learning using BERT representation for Indonesian sentiment analysis. Our simulation shows that the BERT representation improves the accuracies of all hybrid architectures. The BERT-based LSTM-CNN also reaches slightly better accuracies than other BERT-based hybrid architectures.

研究の動機と目的

• 深層学習を用いてインドネシア語のテキストにおけるセンチメント分類の精度を向上させること。
• 非文脈的単語埋め込み表現の限界を克服するため、BERTの文脈に依存する表現を統合すること。
• CNNとLSTMをBERT埋め込みと組み合わせたハイブリッドアーキテクチャの有効性を、インドネシア語自然言語処理において評価すること。
• インドネシア語のような低リソース言語におけるセンチメント分析において、CNN、LSTM、BERTの最適な組み合わせを特定すること。

提案手法

• 文の文脈と語の位置を捉えるために、BERTを用いて文脈に依存する単語埋め込みを生成する。
• 局所的特徴抽出にCNN、感情パターンの順序的モデリングにLSTMを用いたハイブリッドアーキテクチャを採用する。
• エンドツーエンド学習を可能にするために、BERT埋め込みを微調整し、CNN-LSTMモデルの入力として使用する。
• BERT-CNN、BERT-LSTM、BERT-LSTM-CNNを含む、複数のBERTベースのハイブリッドモデルを訓練・評価する。
• 交差エントロピー損失とソフトマックス出力を用いた標準的な深層学習訓練手順を適用する。

実験結果

リサーチクエスチョン

• RQ1 非文脈的埋め込み表現と比較して、BERT埋め込みを統合することでインドネシア語テキストにおけるセンチメント分類精度が向上するか？
• RQ2 BERT-CNN、BERT-LSTM、BERT-LSTM-CNNの中では、どのハイブリッドアーキテクチャがインドネシア語のセンチメント分析で最も優れた性能を示すか？
• RQ3 文脈に依存するBERT表現の使用が、低リソース言語データにおけるモデルの汎化性能とパフォーマンスにどのように影響するか？
• RQ4 CNNとLSTMをBERTと組み合わせることで、単体のモデルよりもセンチメント分類タスクで優れた性能を発揮できるか？

主な発見

• BERTベースの表現は、非文脈的埋め込み表現と比較して、すべてのハイブリッドアーキテクチャの精度を顕著に向上させる。
• BERT-LSTM-CNNモデルは、全テスト済み構成の中で最高の分類精度を達成した。
• すべてのBERTベースのハイブリッドモデルは、非BERT対応モデルを上回り、インドネシア語のセンチメント分析における文脈に依存する埋め込み表現の価値を示した。
• BERTとCNN、LSTMの統合により、特に局所的および順序的なセンチメントパターンを捉える特徴学習が強化された。