[論文レビュー] Back to Reality: Leveraging Pattern-driven Modeling to Enable Affordable Sentiment Dependency Learning

Heng Yang, Biqing Zeng+2 more|arXiv (Cornell University)|Oct 16, 2021

Sentiment Analysis and Opinion Mining参考文献 24被引用数 7

ひとこと要約

本稿では、同じセンチメント極性を持つ連続するアスペクトをセンチメントクラスタとして特定することで、パターン駆動型のアプローチを提案し、アスペクトベースセンチメント分類におけるセンチメント依存関係学習を実現する。ローカルセンチメント集約メカニズムと微分重み付けを用いることで、高価な構文的依存木を構築せずに効率的に依存関係をモデル化し、4つの公開データセットにおいて、特にセンチメントクラスタにおいて最先端の性能を達成する。

ABSTRACT

Aspect-based Sentiment Classification (ABSC) is a challenging sub-task of traditional sentiment analysis. Due to the difficulty of handling potential correlations among sentiment polarities of multiple aspects, i.e., sentiment dependency, recent popular works tend to exploit syntactic information guiding sentiment dependency parsing. However, syntax information (e.g., syntactic dependency trees) usually occupies expensive computational resources in terms of the operation of the adjacent matrix. Instead, we define the consecutive aspects with the same sentiment as the sentiment cluster in the case that we find that most sentiment dependency occurs between adjacent aspects. Motivated by this finding, we propose the sentiment patterns (SP) to guide the model dependency learning. Thereafter, we introduce the local sentiment aggregating (LSA) mechanism to focus on learning the sentiment dependency in the sentiment cluster. The LSA is more efficient than existing dependency tree-based models due to the absence of additional dependency matrix constructing and modeling. Furthermore, we propose differential weighting for aggregation window building to measure the importance of sentiment dependency. Experiments on four public datasets show that our models achieve state-of-the-art performance with especially improvement on learning sentiment cluster.

研究の動機と目的

• 複数のアスペクト間におけるセンチメント依存関係をモデル化する課題に取り組む。
• センチメント依存関係モデル化における構文的依存木の構築に伴う計算コストを低減する。
• 同じセンチメントを持つ連続するアスペクト（センチメントクラスタ）に対して、パターンベース学習を活用することで性能を向上させる。
• 依存木に基づくモデルの軽量で効率的な代替手法を開発する。

提案手法

• 観察に基づき、大多数のセンチメント依存関係が隣接するアスペクト間で発生することを踏まえ、同じセンチメント極性を持つ連続するアスペクトをセンチメントクラスタとして定義する。
• モデルがセンチメントクラスタを特定し、焦点を当てるのを支援するため、センチメントパターン（SP）を提案する。
• 隣接依存行列の構築を回避するため、各センチメントクラスタ内のセンチメント依存関係をモデル化するローカルセンチメント集約（LSA）メカニズムを導入する。
• クラスタ内のセンチメント依存関係の重要度を測るため、集約ウィンドウに微分重み付けを適用する。
• クラスタ内での関連するアスペクトに動的に焦点を当てるパターン駆動型アテンションメカニズムを用いる。
• アスペクト-センチメントペア分類のための標準的なクロスエントロピー損失を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 同じセンチメントを持つ連続するアスペクトは、センチメント依存関係モデル化を簡素化できる安定したパターンを形成できるか？
• RQ2 効率性と性能の観点から、パターン駆動型アプローチは構文ベースの依存モデルと比べてどう異なるか？
• RQ3 センチメントクラスタ内でのローカルセンチメント集約は、アスペクトレベルのセンチメント分類性能を向上させられるか？
• RQ4 集約ウィンドウの微分重み付けは、モデルが重要なセンチメント依存関係を捉える能力を向上させるか？
• RQ5 高価な構文的依存木に依存せずに、提案手法が最先端の結果を達成できるか？

主な発見

• 提案手法は、4つの公開アスペクトベースセンチメント分類データセットにおいて、最先端の性能を達成した。
• モデルは特に、大多数のセンチメント依存関係が発生するセンチメントクラスタにおいて顕著な改善を示した。
• ローカルセンチメント集約メカニズムにより、依存行列の構築が必要なくなるため、計算コストが削減された。
• 集約ウィンドウの微分重み付けにより、クラスタ内での顕著なセンチメント依存関係への注目能力が向上した。
• センチメントパターンに基づくアプローチは、構文依存モデルよりも効率的でありながら、精度を維持または向上させた。
• 実証的結果から、大多数のセンチメント依存関係が隣接するアスペクト間で発生することが確認され、センチメントクラスタの設計選択の妥当性が裏付けられた。