[論文レビュー] Bidirectional Machine Reading Comprehension for Aspect Sentiment Triplet Extraction

Shaowei Chen, Yu Wang+2 more|arXiv (Cornell University)|Mar 13, 2021

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、感情分析トリプレット抽出（ASTE）のための双方向的機械読解（BMRC）フレームワークを提案する。このフレームワークは、制限のない、制限のある、および感情分類のクエリを用いた複数ターンのMRCプロセスに、タスクを変換する。まず要因を抽出し、その後意見表現を抽出する、あるいは逆に、意見表現を最初に抽出するという双方向的推論により、複雑な関係を捉え、トリプレット抽出を向上させる。4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Aspect sentiment triplet extraction (ASTE), which aims to identify aspects from review sentences along with their corresponding opinion expressions and sentiments, is an emerging task in fine-grained opinion mining. Since ASTE consists of multiple subtasks, including opinion entity extraction, relation detection, and sentiment classification, it is critical and challenging to appropriately capture and utilize the associations among them. In this paper, we transform ASTE task into a multi-turn machine reading comprehension (MTMRC) task and propose a bidirectional MRC (BMRC) framework to address this challenge. Specifically, we devise three types of queries, including non-restrictive extraction queries, restrictive extraction queries and sentiment classification queries, to build the associations among different subtasks. Furthermore, considering that an aspect sentiment triplet can derive from either an aspect or an opinion expression, we design a bidirectional MRC structure. One direction sequentially recognizes aspects, opinion expressions, and sentiments to obtain triplets, while the other direction identifies opinion expressions first, then aspects, and at last sentiments. By making the two directions complement each other, our framework can identify triplets more comprehensively. To verify the effectiveness of our approach, we conduct extensive experiments on four benchmark datasets. The experimental results demonstrate that BMRC achieves state-of-the-art performances.

研究の動機と目的

• 統一されたフレームワーク内で、要因、意見表現、感情を同時に抽出する課題に対処すること。
• 一対多、多対一、重複するケースを含む、要因と意見表現の間の複雑で非自明な関係をモデル化すること。
• 共同学習を通じて、検出された要因-意見関係を活用して感情分類を向上させること。
• 一方向的抽出の制限を克服し、要因から始める、および意見表現から始める両方の推論経路を可能にすること。
• ASTEを、タスク間の依存関係をよりよく捉えるために、複数ターンの機械読解タスクとして形式化すること。

提案手法

• ASTEタスクを、非制限的抽出、制限的抽出、感情分類の3種類のクエリタイプを持つ複数ターンの機械読解（MTMRC）タスクとして形式化する。
• 非制限的クエリは、ペア内の最初のエンティティ（要因または意見表現）を特定する。一方、制限的クエリは、最初のエンティティを前提知識として用い、2番目のエンティティを特定する。
• 双方向MRC構造により、2つの推論方向（要因→意見表現、および意見表現→要因）を可能にし、補完的な抽出を実現する。
• 感情分類ターンでは、抽出された要因-意見ペアを文脈として用い、対応する感情極性を予測する。
• すべての3ターンで共同学習を採用し、関係が感情分類をガイドするようにする。
• 文脈表現を捉えるためにBERTをベースエンコーダーとして用いるが、BERTを用いない場合でもモデルは強く性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 ASTEを複数ターンMRCタスクに変換することで、要因、意見表現、感情の共同抽出が向上するか？
• RQ2 要因または意見表現から始める双方向的推論は、一方向的手法と比較して、トリプレット抽出のパフォーマンスをどのように向上させるか？
• RQ3 関係に配慮した感情分類とクエリベースの相互作用は、感情分類の正確性をどの程度向上させるか？
• RQ4 提案されたクエリ設計は、重複や埋め込まれた構造を含む、複雑な要因-意見関係をどの程度うまく捉えられるか？
• RQ5 BERTと提案されたアーキテクチャ的イノベーション（例：双方向MRC、クエリタイプ）の相対的な貢献度は、全体のパフォーマンスにどの程度寄与するか？

主な発見

• BMRCモデルは、4つのベンチマークデータセットで最先端の性能を達成した：14-Lapで59.27% F1、14-Resで70.69%、15-Resで61.05%、16-Resで68.13%。
• 双方向MRC構造は性能を顕著に向上させ、片方向の変種（'Ours w/o AO' および 'Ours w/o OA'）は、偏った抽出経路のため性能が劣る。
• 関係に配慮した感情分類を削除した場合（'Ours w/o REQ'）、要因-意見ペアおよびトリプレット抽出のF1が著しく低下し、関係が感情分類を向上させることを実証した。
• BERTを用いない状態でも、TSFより平均8.15%高いF1を達成したため、アーキテクチャ的イノベーションがBERT単体よりも寄与度が高いことが示された。
• 完全なモデルは、'Ours w/o REQ'から10.4% F1向上を達成し、双方向MRCとクエリ設計の組み合わせが最大のパフォーマンス向上をもたらしたことを示した。