[論文レビュー] Arabic aspect based sentiment analysis using BERT.

Mohammed M. Abdelgwad|arXiv (Cornell University)|Jul 28, 2021

Sentiment Analysis and Opinion Mining参考文献 31被引用数 5

ひとこと要約

この論文は、文脈的埋め込みと文のペア入力を活用して、感情分類を向上させる、アラビア語のアスペクトベース感情分析（ABSA）のためのBERTベースのニューラルモデルを提案する。このモデルは、ベンチマークとしてのアラビア語ホテルレビューのデータセットにおいて、静的単語埋め込みに依存する先行手法を上回る最先端の性能を達成した。

ABSTRACT

Aspect-based sentiment analysis(ABSA) is a textual analysis methodology that defines the polarity of opinions on certain aspects related to specific targets. The majority of research on ABSA is in English, with a small amount of work available in Arabic. Most previous Arabic research has relied on deep learning models that depend primarily on context-independent word embeddings (e.g.word2vec), where each word has a fixed representation independent of its context. This article explores the modeling capabilities of contextual embeddings from pre-trained language models, such as BERT, and making use of sentence pair input on Arabic ABSA tasks. In particular, we are building a simple but effective BERT-based neural baseline to handle this task. Our BERT architecture with a simple linear classification layer surpassed the state-of-the-art works, according to the experimental results on the benchmarked Arabic hotel reviews dataset.

研究の動機と目的

• 事前学習言語モデルからの文脈的埋め込みを活用することで、アラビア語のアスペクトベース感情分析分野における限られた研究を補完すること。
• BERTからの文脈依存の表現に文脈独立の単語埋め込みを置き換えることで、アラビア語における感情分類の精度を向上させること。
• 文のペア入力（レビュー文とアスペクト語）を用いた、シンプルだが効果的なアラビア語ABSAのBERTベースのベースラインモデルの開発。
• 文脈的埋め込みが、アラビア語のテキストにおいて特定のアスペクトに対する微細な感情極性を捉える能力をどのように向上させるかを評価すること。
• ベンチマークとしてのアラビア語ホテルレビューのデータセットにおいて、新たな最先端の結果を確立すること。

提案手法

• 文のペア入力（各入力はレビュー文とアスペクト語から成る）を用いて、アラビア語ABSAデータセット上で事前学習済みBERTモデルを微調整する。
• BERTの[CLS]トークン表現の上に、シンプルな線形分類層を設け、感情極性を予測する。
• 文脈的埋め込みを用いる。これは、word2vecのような静的埋め込みとは異なり、周囲の文脈に基づいて動的に単語表現を生成する。
• 標準的な交差エントロピー損失を用いて、マルチクラス感情分類のためのエンドツーエンド学習を行う。
• 多言語BERTのチェックポイントをアラビア語ABSAタスクに適応させるために、トランスファーラーニングを活用する。
• 入力シーケンスに特別トークン[CLS]と[SEP]を用いて、BERTのための文のペア入力構造を整える。

実験結果

リサーチクエスチョン

• RQ1 BERTからの文脈的埋め込みを用いることで、静的単語埋め込み（例：word2vec）に比べ、アラビア語のアスペクトベース感情分析の性能が向上するか？
• RQ2 シンプルな線形分類器を備えたBERTベースのモデルは、アラビア語ABSAタスクにおいてどれほど有効か？
• RQ3 文のペア入力（レビュー文＋アスペクト語）を用いることで、モデルの特定アスペクトに対する感情検出能力が向上するか？
• RQ4 微調整されたBERTモデルは、ベンチマークアラビア語ABSAデータセットで最先端の結果を達成できるか？
• RQ5 提案手法は、アラビア語ABSAにおける先行の最先端手法と比較して、どのように差をつけるか？

主な発見

• シンプルな線形分類層を備えた提案されたBERTベースのモデルは、ベンチマークアラビア語ホテルレビューのデータセットで、最先端の結果を上回った。
• BERTからの文脈的埋め込みの使用は、word2vecのような静的単語埋め込みを用いたモデルと比較して、感情分類性能を顕著に向上させた。
• シンプルなアーキテクチャでも、アスペクト固有の感情検出において優れた汎化性能を示した。
• 文のペア入力形式は、アラビア語のテキストにおける特定アスペクトに対する感情に注目させるのに効果的であった。
• 事前学習言語モデル（例：BERT）を用いたトランスファーラーニングが、アラビア語ABSAのような低リソースNLPタスクにおいて非常に有効であることが結果から確認された。
• 複雑なアーキテクチャの変更なしに優れた性能を達成したため、アラビア語NLPにおける文脈表現の強力さが浮き彫りになった。