[論文レビュー] Arabic aspect based sentiment analysis using bidirectional GRU based models

Mohammed M. Abdelgwad, Taysir Hassan A. Soliman+2 more|arXiv (Cornell University)|Jan 22, 2021

Sentiment Analysis and Opinion Mining参考文献 79被引用数 103

ひとこと要約

本稿では、アラビア語の特徴ベースセンチメント分析（ABS A）のための2つの双方向GRUベースの深層学習モデルを提案する。T2の意見対象抽出にはBGRU-CNN-CRFを、T3の特徴センチメント極性分類にはIAN-BGRUを採用。IAN-BGRUモデルは、SemEval-2016アラビア語ホテルレビュー評価データセットを用いた実験で、T3で83.98%の正確度を達成し、ベースライン手法比でT2で39.7%のF1スコア向上を達成し、最先端の性能を示した。

ABSTRACT

Aspect-based Sentiment analysis (ABSA) accomplishes a fine-grained analysis that defines the aspects of a given document or sentence and the sentiments conveyed regarding each aspect. This level of analysis is the most detailed version that is capable of exploring the nuanced viewpoints of the reviews. The bulk of study in ABSA focuses on English with very little work available in Arabic. Most previous work in Arabic has been based on regular methods of machine learning that mainly depends on a group of rare resources and tools for analyzing and processing Arabic content such as lexicons, but the lack of those resources presents another challenge. In order to address these challenges, Deep Learning (DL)-based methods are proposed using two models based on Gated Recurrent Units (GRU) neural networks for ABSA. The first is a DL model that takes advantage of word and character representations by combining bidirectional GRU, Convolutional Neural Network (CNN), and Conditional Random Field (CRF) making up the (BGRU-CNN-CRF) model to extract the main opinionated aspects (OTE). The second is an interactive attention network based on bidirectional GRU (IAN-BGRU) to identify sentiment polarity toward extracted aspects. We evaluated our models using the benchmarked Arabic hotel reviews dataset. The results indicate that the proposed methods are better than baseline research on both tasks having 39.7% enhancement in F1-score for opinion target extraction (T2) and 7.58% in accuracy for aspect-based sentiment polarity classification (T3). Achieving F1 score of 70.67% for T2, and accuracy of 83.98% for T3.

研究の動機と目的

• アラビア語ABS Aのための高度な手法が不足している現状に対処し、アラビア語に特化した深層学習モデルを開発すること。
• アラビア語ホテルレビューにおける意見対象抽出（T2）および特徴センチメント極性分類（T3）の性能を向上させること。
• アラビア語自然言語処理リソースが限られるため、従来の機械学習手法の限界を克服すること。
• 外部辞書を用いない双方向GRUとアテンションメカニズムを活用し、文脈モデリングを強化すること。
• SemEval-2016アラビア語ABS Aベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 意見対象抽出（T2）のための順序列ラベル付けに、双方向GRU、畳み込み層、CRFを統合したBGRU-CNN-CRFモデルを採用。
• アラビア語の形態論的・意味的特徴を捉えるために、単語レベルおよび文字レベルの埋め込みを入力として使用。
• 特徴語とその文脈を相互にモデル化するため、双方向GRUを用いたインタラクティブアテンションネットワーク（IAN）を適用。
• 動的アテンションメカニズムを統合し、センチメント分類に適した関連語に焦点を当てるよう最適化し、表現学習を向上。
• バックプロパゲーションを用いたエンドツーエンド学習を実施し、交差エントロピー損失関数を最適化対象とすることで、T2およびT3の両タスクを同時に最適化。
• F1スコアと正確度を評価指標として用い、SemEval-2016アラビア語ホテルレビュー評価データセット上でモデルを評価。

実験結果

リサーチクエスチョン

• RQ1 双方向GRUベースのモデルは、従来の機械学習ベースライン手法に比べ、アラビア語ABS Aタスクで優れた性能を示せるか？
• RQ2 IAN-BGRUアーキテクチャは、アラビア語レビューにおける特徴－センチメント依存関係をどれほど効果的に捉えられるか？
• RQ3 単語レベルおよび文字レベルの埋め込みは、リソースが限られるアラビア語NLP環境において、意見対象抽出の性能をどの程度向上させるか？
• RQ4 アテンションメカニズムの導入により、外部辞書への依存度はアラビア語センチメント分析で低下するか？
• RQ5 BGRU-CNN-CRFモデルは、手作業で特徴を設計する必要がなく、安定した意見対象抽出を達成できるか？

主な発見

• IAN-BGRUモデルは、特徴センチメント極性分類（T3）で83.98%の正確度を達成し、最良のベースライン手法より7.58ポイント高い性能を示した。
• BGRU-CNN-CRFモデルは、意見対象抽出（T2）で70.67%のF1スコアを達成し、ベースライン手法比で39.7%の向上を達成した。
• IAN-BGRUモデルは、IAN-LSTMやIAN-GRUの他のバージョンをすべて上回り、強化された双方向文脈モデリングによる優位性を示した。
• 双方向GRUの使用により、前向きおよび後向きの長距離依存関係を捉えることができ、単方向モデルに比べて性能が向上した。
• 外部辞書を一切使用せず、1文内で矛盾するセンチメント（例：場所はポジティブ、部屋はネガティブ）を正しく分類できた。
• アブレーションスタディの結果、アテンションメカニズムおよび双方向モデリングが性能向上に顕著な寄与を示した一方で、MEMNETのような複雑なモデルは性能向上をもたらさなかった。