[論文レビュー] An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

Ruidan He, Wee Sun Lee+2 more|arXiv (Cornell University)|Jun 17, 2019

Sentiment Analysis and Opinion Mining参考文献 33被引用数 8

ひとこと要約

本稿では、トークンレベルとドキュメントレベルのタスク間でメッセージパッシング機構を用いて、同時にアスペクト語抽出とアスペクトレベルのセンチメント分類を学習する、エンドツーエンドのアスペクトベースセンチメント分析のためのインタラクティブマルチタスク学習ネットワーク（IMN）を提案する。本手法は、複数のパイプライン型および統合型ベースラインを、3つのベンチマークデータセットで上回り、共有表現と大規模なドキュメントレベルコーパスからの知識を反復的かつ効果的に活用することで実現した。

ABSTRACT

Aspect-based sentiment analysis produces a list of aspect terms and their corresponding sentiments for a natural language sentence. This task is usually done in a pipeline manner, with aspect term extraction performed first, followed by sentiment predictions toward the extracted aspect terms. While easier to develop, such an approach does not fully exploit joint information from the two subtasks and does not use all available sources of training information that might be helpful, such as document-level labeled sentiment corpus. In this paper, we propose an interactive multi-task learning network (IMN) which is able to jointly learn multiple related tasks simultaneously at both the token level as well as the document level. Unlike conventional multi-task learning methods that rely on learning common features for the different tasks, IMN introduces a message passing architecture where information is iteratively passed to different tasks through a shared set of latent variables. Experimental results demonstrate superior performance of the proposed method against multiple baselines on three benchmark datasets.

研究の動機と目的

• パイプライン型手法の制限を解消することを目的とし、アスペクトベースセンチメント分析において誤差伝搬とタスク間情報の未活用という問題を抱えること。
• タスク間の相互作用を明示的にモデル化することで、アスペクト語抽出とアスペクトレベルのセンチメント分類を統合的に学習すること。
• より大きな、入手が容易なドキュメントレベルのセンチメントコーパスからの知識を、細分化されたアスペクトレベルのタスクに統合すること。
• 複数の関連タスク間で共有表現を反復的に精錬することができるメッセージパッシング機構を構築すること。
• タスク間の知識伝達により、希少または複雑なアスペクト語やセンチメント表現の検出を向上させること。

提案手法

• IMNは、共有潜在変数を通じてタスク間を反復的に情報伝達するメッセージパッシングアーキテクチャを採用しており、静的特徴共有を超えた動的相互作用を可能にする。
• 本モデルは5つのタスクを同時に学習する：アスペクト語抽出（AE）、アスペクトレベルのセンチメント分類（AS）、ドキュメントセンチメント分類（DS）、ドメイン分類（DD）。
• 各タスク間を双方向に情報が流れ、各イテレーションで関連タスクからのフィードバックを用いて予測を精錬する。
• AEおよびASのコンポONENTに自己注意機構を統合し、長距離依存関係とセンチメント関連コンテキストを捉える。
• 特に希少語や未知語に対して表現学習を強化するため、事前学習済み埋め込みとドメイン固有の埋め込みを活用する。
• メッセージパッシングはTステップにわたり反復的に適用され、収束は通常2–3イテレーションで達成される。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブマルチタスク学習フレームワークは、従来のパイプライン型および統合型モデルに比べ、エンドツーエンドのアスペクトベースセンチメント分析で優れた性能を発揮できるか？
• RQ2 共有特徴学習と比較して、メッセージパッシングはアスペクト抽出とセンチメント分類の統合学習をどの程度向上させるか？
• RQ3 ドキュメントレベルのセンチメントコーパスは、より小さな細分化されたアスペクトレベルのデータセットの性能をどの程度向上できるか？
• RQ4 反復的メッセージパッシング機構は、希少または曖昧なアスペクト語や複雑なセンチメント表現の検出をどの程度向上させるか？
• RQ5 ドキュメントレベルの予測（例：センチメントやドメイン）は、アスペクトレベルタスクの性能にどの程度寄与するか？

主な発見

• IMNは3つのベンチマークデータセットで最先端の性能を達成し、アスペクト語抽出およびセンチメント分類のF1スコアにおいて、パイプライン型および統合型ベースラインを上回った。
• タスク固有のメッセージパッシングを組み込んだ+Message passing-aおよび+Message passing-dの変種が、最も大きな性能向上を示し、提案手法の有効性を裏付けた。
• パrameter共有によるドキュメントレベルタスクの追加は僅かな改善にとどまるが、ドキュメントレベルの予測からのメッセージパッシングにより顕著な性能向上が得られ、知識伝達が明示的にモデル化された場合に最も効果的であることが示された。
• モデルは迅速に収束し、2–3回のメッセージパッシングイテレーションで最適な性能が達成されたことから、情報伝達が効率的であることが示された。
• 事例研究では、IMNが「build」のような非一般的なアスペクト語を正しく特定し、意見が表明されていない場合に「Pizza」のような誤検出を回避することが、タスク間フィードバックのおかげで可能であることが明らかになった。
• IMNは、ドメイン固有の意見語、否定表現、およびマイナーなセンチメントクラス（例：ニュートラル）を、ドキュメントレベルの予測からのセンチメント関連注意重みのガイダンスによってよりよく捉えている。