[論文レビュー] Arabic aspect based sentiment classification using BERT.

Mohammed M. Abdelgwad|arXiv (Cornell University)|Nov 29, 2021

Sentiment Analysis and Opinion Mining参考文献 34被引用数 5

ひとこと要約

本稿では、文脈的埋め込みと文のペair入力を活用して感情極性予測を向上させる、アラビア語のアスペクトベース感情分析のためのBERTベースのニューラルモデルを提案する。このモデルは、アラビア語のホテルレビューで89.51%、書籍レビューで73%、ニュースデータで85.73%の正確性を達成し、静的単語埋め込みに依存する従来手法を上回る最先端の性能を発揮した。

ABSTRACT

Aspect-based sentiment analysis(ABSA) is a textual analysis methodology that defines the polarity of opinions on certain aspects related to specific targets. The majority of research on ABSA is in English, with a small amount of work available in Arabic. Most previous Arabic research has relied on deep learning models that depend primarily on context-independent word embeddings (e.g.word2vec), where each word has a fixed representation independent of its context. This article explores the modeling capabilities of contextual embeddings from pre-trained language models, such as BERT, and making use of sentence pair input on Arabic aspect sentiment polarity classification task. In particular, we develop a simple but effective BERT-based neural baseline to handle this task. Our BERT architecture with a simple linear classification layer surpassed the state-of-the-art works, according to the experimental results on three different Arabic datasets. Achieving an accuracy of 89.51% on the Arabic hotel reviews dataset, 73% on the Human annotated book reviews dataset, and 85.73% on the Arabic news dataset.

研究の動機と目的

• 文脈的単語表現を活用することで、効果的なアラビア語ABSアーキテクチャの不足を解消すること。
• BERTからの文脈的埋め込みに静的単語埋め込みを置き換えることで、アラビア語テキストの感情分類の正確性を向上させること。
• アラビア語のアスペクト感情極性分類のための、シンプルでありながら効果的なBERTベースのベースラインを構築すること。
• ホテルレビューからニュース記事に至る多様なアラビア語テキストドメインにおけるモデルの性能を評価すること。
• 低リソースなアラビア語NLPタスクにおいて、事前学習済みの文脈的モデルが従来のディープラーニングアプローチを上回ることを示すこと。

提案手法

• 文のペair入力フォーマットを用いて、アラビア語ABSアーキテクチャデータセット上で事前学習済みBERTモデルを微調整すること。
• 感情分類のための入力ペアを構築し、ターゲットとなるアスペクトとその対応する文脈文のペアを形成すること。
• BERTの[CLS]トークン表現の上に単純な線形分類層を適用して感情予測を行うこと。
• 文脈に応じて動的に調整される単語表現を持つ、BERTからの文脈的埋め込みを活用すること。
• 標準的な交差エントロピー損失を用いて、3つの異なるアラビア語データセット上でモデルをエンドツーエンドで訓練すること。
• 学習率スケジューリングと重み減衰を含む、標準的なBERT微調整手順を採用すること。

実験結果

リサーチクエスチョン

• RQ1 静的単語埋め込みと比較して、BERTベースの文脈的埋め込みはアラビア語のアスペクトベース感情分類を改善できるか？
• RQ2 文のペair入力とシンプルなBERT微調整アプローチは、アラビア語ABSタスクにおいてどれほど効果的か？
• RQ3 提案されたモデルは、複数のアラビア語テキストデータセットにおいて、既存の最先端手法を上回る性能を発揮するか？
• RQ4 ホテルレビュー、書籍レビュー、ニュース記事のような異なるアラビア語テキストドメインにおいて、モデルの頑健性はいかがなものか？
• RQ5 低リソースなアラビア語NLP環境下で、文脈的表現の影響は感情分類の正確性にどのように及ぶか？

主な発見

• 提案されたBERTベースのモデルは、アラビア語のホテルレビューデータセットで89.51%の正確性を達成し、以前の最先端手法を上回った。
• 人間がアノテートした書籍レビューのデータセットでは、73%の正確性を達成し、ドメイン特化したアラビア語テキストにおいて強力な性能を示した。
• アラビア語のニュースデータセットでは85.73%の正確性を達成し、多様なテキストタイプにわたる有効性を示した。
• 結果から、BERTからの文脈的埋め込みが、文脈に依存しない単語埋め込みよりも顕著に優れていることが確認された。
• シンプルな文のペair入力による微調整アプローチが非常に効果的であり、今後のアラビア語ABS研究の強力なベースラインを確立した。
• 3つのデータセットすべてにおけるモデルの性能から、低リソースなアラビア語NLP応用におけるBERTベースアーキテクチャの汎化能力が裏付けられた。