[論文レビュー] Multi-task memory networks for category-specific aspect and opinion terms co-extraction

Wenya Wang, Sinno Jialin Pan+1 more|arXiv (Cornell University)|Feb 6, 2017

Sentiment Analysis and Opinion Mining参考文献 17被引用数 17

ひとこと要約

本稿では、エンドツーエンドのカテゴリ固有の要因および意見語句の共同抽出を目的としたマルチタスクメモリネットワーク（MTMN）を提案する。MTMNは、複数の感情分析カテゴリにまたがる要因／意見語句の識別と分類を統合的に学習する。共有メモリ表現、テンソル因子分解、補助タスク学習を活用することで、3つのベンチマークデータセットにおいて最先端の性能を達成し、従来手法に比べて顕著に抽出精度が向上した。

ABSTRACT

In aspect-based sentiment analysis, most existing methods either focus on aspect/opinion terms extraction or aspect terms categorization. However, each task by itself only provides partial information to end users. To generate more detailed and structured opinion analysis, we propose a finer-grained problem, which we call category-specific aspect and opinion terms extraction. This problem involves the identification of aspect and opinion terms within each sentence, as well as the categorization of the identified terms. To this end, we propose an end-to-end multi-task attention model, where each task corresponds to aspect/opinion terms extraction for a specific category. Our model benefits from exploring the commonalities and relationships among different tasks to address the data sparsity issue. We demonstrate its state-of-the-art performance on three benchmark datasets.

研究の動機と目的

• 既存手法が要因／意見語句の抽出を分類なしに行うか、事前に抽出された語句の分類にとどまっているという限界を是正するため、要因および意見語句の同時抽出と分類という、より細分化されたタスクを導入する。
• 低リソースカテゴリにおけるデータスパarsityを克服するため、共有表現を通じて複数のカテゴリ固有タスクを統合的に学習する。
• カテゴリ間の共通性とタスク固有の差異をマルチタスクディープラーニングフレームワークでモデル化することで、予測精度を向上させる。
• 要因語句と意見語句を共有カテゴリ情報によってリンクするエンドツーエンド学習を可能にし、細分化されたセンチメント分析を強化する。

提案手法

• モデルは、事前に定義された各カテゴリにおける要因および意見語句抽出を個々のタスクとして扱い、全カテゴリにわたるマルチタスク学習を可能にする。
• 各タスク固有のメモリネットワーク内で、注意に基づくコンテキストモデリングを用いて、二重ラベル伝播機構を採用し、要因および意見語句を同時に抽出する。
• タスク間でテンソル因子分解を適用し、トークン間相互作用の共通性をモデル化するとともに、低リソースカテゴリにおける過学習を軽減する。
• 文脈に適応した注意機構を用いて特徴共有を実装し、文全体から関連するトークンの情報を動的に集約する。
• 文レベルの一貫性を強制するために補助タスクを導入し、トークンレベルの予測精度を向上させる。
• シーケンスラベリングとカテゴリ分類の両方を最適化するための統合損失関数を用いて、全アーキテクチャをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクディープラーニングモデルは、事前に定義されたカテゴリに同時に割り当てながら、要因および意見語句を効果的に共同抽出できるか？
• RQ2 複数のカテゴリにわたる統合学習は、訓練データがスパースな低リソース設定においても性能を向上させるか？
• RQ3 テンソル共有、特徴共有、補助タスク学習の各要素が、モデルの性能に果たす相対的寄与度は何か？
• RQ4 モデルは、多様なカテゴリにわたる人間によるアノテーションと整合する有意義な注意パターンを学習できるか？

主な発見

• MTMNは3つのベンチマークデータセットで最先端の性能を達成し、S2データセットでは要因語句分類（ASC）で65.34%、意見語句分類（OPC）で61.44%のF1スコアを記録した。
• アブレーションスタディの結果、テンソル共有（C1）が特徴共有（C2）よりも寄与度が高く、タスク間での共有された相互作用パターンが、共有特徴表現よりも有益であることが示された。
• 補助タスクの導入（C3）により、S1ではASC F1が2.49%、S2では4.05%向上し、文レベルの一貫性の重要性が裏付けられた。
• モデルは、複数のカテゴリにまたがる要因および意見語句に対して、正しい語句と整合する注意スコアを効果的に学習した。また、語句が複数のカテゴリに属するケースに対しても適切に対応した。
• 感度分析の結果、因子分解次元（m）の変化に対しても安定した性能を示し、mの値の範囲で一貫性のある結果が得られた。