[論文レビュー] LSA: Modeling Aspect Sentiment Coherency via Local Sentiment Aggregation

Heng Yang, Ke Li|arXiv (Cornell University)|Oct 16, 2021

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本稿では、隣接するアスペクトに対して微分可能な重み付け済み感情集約ウィンドウを適用することにより、アスペクト感情の一貫性をモデル化する、新たなパラダイムであるローカルセンチメントアグリゲーション（LSA）を提案する。LSAは、文法構造に依存せずに、暗黙の感情を効果的に学習し、一貫性モデリングを向上させることで、3つの公開データセットで最先端の性能を達成する。

ABSTRACT

Aspect sentiment coherency is an intriguing yet underexplored topic in the field of aspect-based sentiment classification. This concept reflects the common pattern where adjacent aspects often share similar sentiments. Despite its prevalence, current studies have not fully recognized the potential of modeling aspect sentiment coherency, including its implications in adversarial defense. To model aspect sentiment coherency, we propose a novel local sentiment aggregation (LSA) paradigm based on constructing a differential-weighted sentiment aggregation window. We have rigorously evaluated our model through experiments, and the results affirm the proficiency of LSA in terms of aspect coherency prediction and aspect sentiment classification. For instance, it outperforms existing models and achieves state-of-the-art sentiment classification performance across five public datasets. Furthermore, we demonstrate the promising ability of LSA in ABSC adversarial defense, thanks to its sentiment coherency modeling. To encourage further exploration and application of this concept, we have made our code publicly accessible. This will provide researchers with a valuable tool to delve into sentiment coherency modeling in future research.

研究の動機と目的

• 隣接するアスペクトがしばしば類似した感情を持つことから、アスペクトベースのセンチメント分類（ABSC）におけるアスペクト感情の一貫性の未だ十分に探求されていない役割を解決すること。
• トークン-ノードの不一致と高い計算コストに悩まされる構文木ベースの手法の限界を克服すること。
• 構造解析を必要とせず、既存のABSCモデルの性能を向上させるために、軽量で移植可能なフレームワークを構築すること。
• 微分可能で適応的なウィンドウメカニズムを用いて、隣接するアスペクトからのセンチメント信号を集約することで、暗黙の感情学習を可能にすること。
• 感情の一貫性が、多様なドメインにわたりABSCの性能を顕著に向上させることのできる、重要なが見過ごされがちな信号であることを実証すること。

提案手法

• 連続するアスペクトから感情特徴を集約することで、感情の一貫性をモデル化するローカルセンチメントアグリゲーション（LSA）パラダイムを提案する。
• 感情の類似度に基づいて、隣接するアスペクトに異なる重要度を割り当てる、微分可能な重み付き感情集約ウィンドウを導入する。
• 勾配降下法を用いてウィンドウの重みを最適化し、明示的な構文解析を伴わず、一貫性パターンをエンドツーエンドで学習可能にする。
• アスペクト特徴（例：位置、依存関係、意味的類似度）に基づいて、異なる文脈で一貫性を捉える3つの異なる感情集約ウィンドウ戦略を設計する。
• LSAを既存のABSCモデル（例：BERT、LCF-BERT）にプラグインモジュールとして統合し、アーキテクチャの変更なしに適用可能にする。
• 1つの変種（LSA_S）ではspaCyを用いて構文木を抽出するが、トークン-ノード不一致問題を回避するため、より高速でアライメントフリーな代替手法（LSA_T、LSA_P）を優先する。

実験結果

リサーチクエスチョン

• RQ1 ローカルセンチメント一貫性のモデリングが、アスペクトベースのセンチメント分類性能にどの程度寄与するか？
• RQ2 構文解析に依存せず、軽量で微分可能な集約メカニズムが、感情の一貫性を効果的に捉えられるか？
• RQ3 LSAは、明示的なセンチメント表現を持たないアスペクトの暗黙の感情をどの程度正しく学習できるか？
• RQ4 LSAの微分可能な重み付けメカニズムは、関係のない、あるいは矛盾する隣接アスペクトを適応的に抑制できるか？
• RQ5 精度、効率性、耐性の観点から、LSAは構文木ベースおよびグラフニューラルネットワークアプローチと比較してどの程度優れているか？

主な発見

• LSAはLaptop14およびRestaurant14データセットで最先端の性能を達成し、アスペクト感情の一貫性モデリングの有効性を示している。
• 3つの公開ABSCデータセット全体で感情の一貫性モデリングが顕著に向上し、その性能向上は暗黙の感情集約に起因している。
• モノアスペクトケースでは、ベースモデル（例：BERT-SPC、LCF-BERT）と同等の性能下限を維持しており、劣化がないことが示された。
• 微分可能な重み付き集約ウィンドウは、一貫性が保たれない、または類似度が低い隣接アスペクトに近いゼロの重みを学習し、ノイズを効果的にフィルタリングしている。
• LSA_TおよびLSA_Pバージョンは、LSA_Sに比べてデータ前処理が約10倍速く、実世界の展開に適している。
• 統計的分析により、現実のABSCデータに感情の一貫性が存在することが確認され、5つの公開データセットで感情クラスタが観察された。これは、本手法の基本仮定が妥当であることを裏付けている。