[論文レビュー] A Unified Generative Framework for Aspect-Based Sentiment Analysis

Hang Yan, Junqi Dai+3 more|arXiv (Cornell University)|Jun 8, 2021

Sentiment Analysis and Opinion Mining参考文献 44被引用数 11

ひとこと要約

本稿では、ポ인터インデックスおよびセンチメントクラスインデックスを用いて、すべての7つのサブタスク（アスペクト用語抽出、オピニオン用語抽出、センチメント分類、およびそれらの組み合わせ）をシーケンス生成タスクに再定式化することで、統一的な生成フレームワークを提案する。BARTという事前学習済みエンコーダ-デコーダー・シーケンス・トゥ・シーケンスモデルを活用することで、アーキテクチャの変更なしにエンド・ツー・エンドで、4つの公開データセットにおいてすべてのサブタスクで最先端の性能を達成した。

ABSTRACT

Aspect-based Sentiment Analysis (ABSA) aims to identify the aspect terms, their corresponding sentiment polarities, and the opinion terms. There exist seven subtasks in ABSA. Most studies only focus on the subsets of these subtasks, which leads to various complicated ABSA models while hard to solve these subtasks in a unified framework. In this paper, we redefine every subtask target as a sequence mixed by pointer indexes and sentiment class indexes, which converts all ABSA subtasks into a unified generative formulation. Based on the unified formulation, we exploit the pre-training sequence-to-sequence model BART to solve all ABSA subtasks in an end-to-end framework. Extensive experiments on four ABSA datasets for seven subtasks demonstrate that our framework achieves substantial performance gain and provides a real unified end-to-end solution for the whole ABSA subtasks, which could benefit multiple tasks.

研究の動機と目的

• 入力、出力、タスクタイプの違いにより、7つのすべてのABS Aサブタスクを統一するフレームワークが不足しているという問題に対処すること。
• ABS Aにおけるタスク固有のデコーダーやパイプラインアーキテクチャの必要性を排除すること。
• 単一のシーケンス・トゥ・シーケンスモデルを用いて、すべてのサブタスクでエンド・ツー・エンドの学習と推論を可能にすること。
• 最小限のアーキテクチャ的変更で、多様なABS Aベンチマークで高い性能を達成すること。

提案手法

• アスペクトおよびオピニオンのスパンを示すポインタインデックスと、センチメントクラスインデックスを組み合わせた出力をシーケンスとして表現することで、すべてのABS Aサブタスクを統一的なシーケンス生成タスクに再定式化する。
• エンド・ツー・エンドの方法でターゲットシーケンスを生成するために、BARTという事前学習済みシーケンス・トゥ・シーケンスモデルをバックボーンとして使用する。
• 同じ出力シーケンス内で、アスペクトおよびオピニオンのスパンを開始・終了トークンインデックスとして、センチメント極性をクラスインデックスとして表現する。
• 複数のデータセットでエンド・ツー・エンドに学習させることで、サブタスク間でのゼロショットまたはフェイントショットの一般化を可能にする。
• 推論設定の安定性を確保するため、ビームサーチデコーダーを用い、ビームサイズの分析を実施する。
• 推論中に不正な予測（例：順序が逆のインデックス、無効なサブワードトークンなど）をフィルタリングすることで、信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のデコーダーを用いずに、7つのすべてのABS Aサブタスクを単一の生成的シーケンス・トゥ・シーケンスフレームワークに統合できるか？
• RQ2 提案されたインデックスベースのシーケンス生成アプローチは、サブタスク間で異なる入力・出力の不均一性をどのように処理するか？
• RQ3 BARTベースのモデルは、同時にすべてのサブタスクで、既存の最先端手法をどの程度上回るか？
• RQ4 統一フレームワークは、多様なデータセットやサブタスクの組み合わせに対しても高い性能を維持できるか？
• RQ5 ビームサイズなどのハイパーパrameterの選択に、フレームワークはどの程度頑健か？

主な発見

• 提案されたフレームワークは、4つの公開データセットのすべての7つのサブタスクで顕著な性能向上を達成し、14resでは最大13 F1ポイント、16resでは12 F1ポイントの向上を記録した。
• 14res、14lap、15res、16resの各データセットで、それぞれほぼ13、9、7、12の絶対的F1ポイントのリコールスコア向上を示しており、優れた一般化性能を示している。
• ビームサイズがF1スコアにほとんど影響しないことから、推論性能が安定しており、頑健であることが示された。
• 不正な予測率（長さ5でない、順序が逆の、または無効なサブワードインデックス）は低く（3.7％未満）、生成アプローチの実用的妥当性を裏付けている。
• 本フレームワークは、単一のモデルで7つのすべてのABS Aサブタスクを評価した初のものであり、統一的ABS Aシステムの新しいベンチマークを設定した。
• すべてのサブタスクで、既存の最先端モデルを上回る性能を示しており、統一的インデックスベースの生成アプローチの有効性が実証された。