[論文レビュー] DOER: Dual Cross-Shared RNN for Aspect Term-Polarity Co-Extraction

Huaishao Luo, Tianrui Li+2 more|arXiv (Cornell University)|Jun 5, 2019

Sentiment Analysis and Opinion Mining参考文献 48被引用数 13

ひとこと要約

本稿では、二重クロス共有RNNフレームワークであるDOERを提案する。この手法は、共有可能な相互作用を有するクロス共有ユニットを介して、両タスクをシーケンスラベリング問題として扱うことで、アスペクト語抽出（ATE）とポジティブネガティブ分類（ASC）の共同抽出を実現する。本手法は、二重RNN、補助タスク、およびリカレントゲーテッドユニット（ReGU）を活用することで表現学習とタスク間相互作用を向上させ、3つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

This paper focuses on two related subtasks of aspect-based sentiment analysis, namely aspect term extraction and aspect sentiment classification, which we call aspect term-polarity co-extraction. The former task is to extract aspects of a product or service from an opinion document, and the latter is to identify the polarity expressed in the document about these extracted aspects. Most existing algorithms address them as two separate tasks and solve them one by one, or only perform one task, which can be complicated for real applications. In this paper, we treat these two tasks as two sequence labeling problems and propose a novel Dual crOss-sharEd RNN framework (DOER) to generate all aspect term-polarity pairs of the input sentence simultaneously. Specifically, DOER involves a dual recurrent neural network to extract the respective representation of each task, and a cross-shared unit to consider the relationship between them. Experimental results demonstrate that the proposed framework outperforms state-of-the-art baselines on three benchmark datasets.

研究の動機と目的

• パイプライン型およびコラプス型アプローチの限界を解消するため、アスペクトベースの感情分析において、アスペクト語抽出（ATE）とアスペクト感情分類（ASC）を共同でモデリングすること。
• 1回の推論プロセスで全アスペクト語-極性ペアを同時に生成することで、誤差伝搬を低減し、効率性を向上させること。
• 補助タスク（アスペクト長の強化と感情の強化）を通じて、ATEおよびASCの表現学習を向上させること。
• 二つのタスク間の相互作用を、アテンションベースの依存関係を学習するクロス共有ユニット（CSU）を用いてモデル化すること。
• RNNアーキテクチャに新規のリカレントゲーテッドユニット（ReGU）を導入し、長大なアスペクト語のモデリングと感情表現の向上を図ること。

提案手法

• DOERは、アスペクト語抽出とアスペクト感情分類のそれぞれに別々の隠れ表現を学習する二重再帰ニューラルネットワーク（RNN）を採用する。
• クロス共有ユニット（CSU）は、$ S_A $ および $ S_P $ のアテンションスコアを計算することで、二つのタスク間の動的相互作用をモデル化し、各タスクが他方の関連情報に注目できるようにする。
• 本フレームワークは、長大なアスペクト語の検出を向上させるためのアスペクト長の強化と、極性表現を強化するための感情強化という2つの補助タスクを統合する。
• 訓練の安定性と勾配の流れの改善を図るために、リカレントゲーテッドユニット（ReGU）を導入し、複雑な長大アスペクト語のモデリングを向上させる。
• ATE（B/I）とASC（PO/NG/NT/CF）の別々のタグセットを用いたジョイントシーケンスラベリング方式を採用することで、ラベルの曖昧さを回避する。
• CSU内のアテンションスコアの可視化により、タスク間の有効な相互作用が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 ジョイントシーケンスラベリングフレームワークは、パイプライン型やコラプス型アプローチを上回る性能を発揮できるか？
• RQ2 CSUのようなタスク間アテンションメカニズムは、ATEおよびASCにおける表現学習をどの程度効果的に向上できるか？
• RQ3 補助タスク（アスペクト長の強化と感情の強化）は、長大または曖昧なアスペクト語の処理において、どの程度性能を向上させるか？
• RQ4 リカレントゲーテッドユニット（ReGU）の導入により、勾配の流れが改善され、複雑なアスペクト語のモデリングが向上するか？
• RQ5 CSU内のアテンションスコアは、予測時に意味的なタスク間依存関係をどのように反映しているか？

主な発見

• DOERは、SemEval-2014、SemEval-2015、Twitter-15の3つのベンチマークデータセットで最先端の性能を達成し、F1スコアにおいて既存手法を上回った。
• アブレーションスタディの結果、クロス共有ユニット（CSU）および補助タスクの両方が性能向上に寄与しており、特にCSUが最も大きな寄与を示した。
• アテンションスコアの可視化結果から、モデルが関連する文脈語（例："great" が "OS" の極性予測に注目する）に適切に注目していることが示され、有効なタスク間推論が実現していることが確認された。
• リカレントゲーテッドユニット（ReGU）は、訓練の安定性と性能を向上させ、特に長大なアスペクト語の処理において顕著な改善をもたらした。
• 別々のタグセットを用いたジョイントモデリングアプローチは、ラベルを統合したコラプス型アプローチ（例：B-PO, I-PO）よりも優れた性能を示し、ラベルの混同を回避できた。
• S-BiLSTMベースラインと比較して、DOERは誤差率を顕著に低減した。事例スタディでは、ベースラインが失敗する状況（例："dual-core i7 chip" を正しくPOと特定）においても、正しく予測していることが確認された。