[論文レビュー] Exploring Conditional Text Generation for Aspect-Based Sentiment Analysis

Siva Uday Sampreeth Chebolu, Franck Dernoncourt+2 more|arXiv (Cornell University)|Oct 5, 2021

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文は、感情分析の分野におけるターゲット、アスペクト、極性を条件付きに生成する新しいテキスト生成フレームワークを提案する。このフレームワークにより、感情三つ組抽出のタスクが、ターゲット、アスペクト、極性を条件として補助文を生成する問題に再定式化される。T5およびBARTをベンチマークデータセット上で微調整することで、特に暗黙のターゲット検出の性能向上と、従来の系列ラベル付けや文対分類手法に内在するターゲットの衝突問題の解消が達成され、新たな最先端の結果が得られた。

ABSTRACT

Aspect-based sentiment analysis (ABSA) is an NLP task that entails processing user-generated reviews to determine (i) the target being evaluated, (ii) the aspect category to which it belongs, and (iii) the sentiment expressed towards the target and aspect pair. In this article, we propose transforming ABSA into an abstract summary-like conditional text generation task that uses targets, aspects, and polarities to generate auxiliary statements. To demonstrate the efficacy of our task formulation and a proposed system, we fine-tune a pre-trained model for conditional text generation tasks to get new state-of-the-art results on a few restaurant domains and urban neighborhoods domain benchmark datasets.

研究の動機と目的

• 従来のABSA手法が暗黙のターゲットの検出に苦労し、感情三つ組抽出においてターゲットの衝突問題を抱えるという限界を解消すること。
• ABSAを条件付きテキスト生成タスクに再定式化することで、ターゲット検出、アスペクト分類、極性予測といった複数のサブタスクを統一的なシーケンス・トゥ・シーケンスフレームワークの下に統合すること。
• T5 や BART といった事前学習モデルを活用し、文脈に適した表現を含む、アスペクト-感情関係をエンコードする補助文を生成すること。
• ジョイント生成がタスク特化型の微調整を上回ることを示し、さまざまなABSAサブタスクにおいて性能向上を達成すること。
• 性能向上がモデルのスケールや事前学習データサイズの増加によるものではなく、生成モデルの定式化自体に起因することを検証すること。

提案手法

• モデルが入力文脈、ターゲット、アスペクトカテゴリ、感情極性を入力として与えられたもとで、自然言語の文を生成する条件付きテキスト生成タスクにABSAを再定式化する。
• （ターゲット、アスペクト、感情）三つ組をエンコードするための擬似語句や擬似文を用いて訓練データを構築し、意見文のエンド・ツー・エンド生成を可能にする。
• T5およびBARTモデルを、レストランや都市の住宅地域を含む4つの公開ABSAベンチマークデータセット上で微調整し、シーケンス・トゥ・シーケンスの目的関数に従って学習する。
• ターゲット検出、アスペクト分類、感情予測を条件付き生成を通じて同時に最適化するマルチタスク学習フレームワークを採用する。
• ベースライン比較のため、トークンレベルの表現に対してCRFやソフトマックスデコードを適用する一方、本手法は完全に自己回帰的生成に依存する。
• 生成アーキテクチャの貢献をモデルサイズや事前学習データサイズの影響から分離するため、T5エンコーダーの変種を評価する。

実験結果

リサーチクエスチョン

• RQ1 感情分析の分野におけるターゲット、アスペクト、感情の同時抽出を、条件付きテキスト生成タスクに再定式化することで、効果的に改善できるか？
• RQ2 提案された生成フレームワークは、複数のABSAサブタスクにおいて、F1スコアの観点から従来の系列ラベル付けや文対分類手法を上回る性能を示すか？
• RQ3 条件付き生成アプローチは、従来の手法と比較して、暗黙のターゲット検出の精度をどの程度向上させるか？
• RQ4 性能向上は生成モデリングアプローチそのものに起因するのか、それとも単に大規模な事前学習モデルが使われたからにすぎないのか？
• RQ5 ジョイント生成フレームワークは、文対分類手法で生じるターゲットの衝突問題（重複または矛盾する意見が破棄される）を効果的に解消できるか？

主な発見

• 提案された条件付きテキスト生成フレームワークは、レストランや都市の住宅地域を含む4つの公開ABSAベンチマークデータセットで、新たな最先端の結果を達成した。
• 従来の分類ベースの手法が見過ごしがちな暗黙のターゲット検出において、顕著な性能向上が達成された。
• 条件付き生成によるジョイントトレーニングは、サブタスクごとの個別微調整を上回り、本定式化におけるマルチタスク学習の利点を示した。
• T5エンコーダーの変種は、BERT よりも大規模なコーパスで事前学習されているが、優れた結果を達成しており、性能向上が生成アーキテクチャそのものに起因することを裏付けた。
• Wan ら（2020）の文対分類手法に見られたターゲットの衝突問題を、本フレームワークは効果的に解消した。
• アブレーションスタディにより、従来の系列ラベル付けや分類手法よりも、生成アプローチがより表現力があり、効果的であることが確認された。