[論文レビュー] Recurrent Entity Networks with Delayed Memory Update for Targeted Aspect-based Sentiment Analysis

Fei Liu, Trevor Cohn+1 more|arXiv (Cornell University)|Apr 30, 2018

Sentiment Analysis and Opinion Mining参考文献 14被引用数 8

ひとこと要約

本稿では、長距離依存関係にわたるエンティティ・アスペクトペアの追跡を改善するために、遅延付きメモリ更新機構を備えた再帰的エンティティネットワークを提案する。このモデルは、外部知識ベースを用いる最先端手法を上回り、『although』や『best bet』などの関連する言語的手がかりが感情の関連性を示す際にのみ、動的にメモリチェーンを更新することで、感情の関連性を効果的に捉えることができる。

ABSTRACT

While neural networks have been shown to achieve impressive results for sentence-level sentiment analysis, targeted aspect-based sentiment analysis (TABSA) --- extraction of fine-grained opinion polarity w.r.t. a pre-defined set of aspects --- remains a difficult task. Motivated by recent advances in memory-augmented models for machine reading, we propose a novel architecture, utilising external "memory chains" with a delayed memory update mechanism to track entities. On a TABSA task, the proposed model demonstrates substantial improvements over state-of-the-art approaches, including those using external knowledge bases.

研究の動機と目的

• 感情の信号が文の途中で分散・遅延して現れる場合に、複数のエンティティ–アスペクトペアを追跡するという、ターゲット指向のアスペクトベース感情分析（TABSA）における課題に対処すること。
• 標準的なRNNやメモリネットワークが苦手とする長距離依存関係や遅延された感情のトリガーをモデル化することで、TABSAの性能を向上させること。
• すべての語でなく、関連する言語的手がかりが検出された場合にのみ、エンティティ表現を更新する選択的メモリアーキテクチャを設計すること。
• 外部知識ベースに依存せずに、遅延付きメモリ更新機構がアスペクト検出および感情分類の精度を顕著に向上させることを実証すること。

提案手法

• モデルは、エンティティごとに1つのメモリチェーンを維持し、それぞれに隠れ状態（h^j）、キーベクトル（k^j）、遅延ベクトル（d^j）を備えて、エンティティ固有の表現を追跡する。
• ゲーティング機構により、3つの要素（コンテンツ項：w_i · h^{j}_{i-1}、位置項：w_i · k^j、遅延項：v · d^{j}_{i}）を用いてメモリの更新を制御し、感情関連の信号が文の後半に現れた際に更新を遅らせる。
• 更新ゲート g_i^j は、これらの3つの項の合計にシグモイド非線形関数を適用することで計算され、感情関連のフレーズが後続に現れた際にのみ、活性化が遅れる。
• 隠れ状態 h^j_i は、ゲートで調節された前回の状態と新しい入力を組み合わせたGRUによって更新され、長期間にわたるメモリの追跡が可能になる。
• モデルは逐次的に入力を処理することで、『although expensive』のような遅延した感情信号を捉え、アスペクト極性予測に不可欠な情報を得られる。
• アスペクト検出および感情分類の両方のタスクで交差エントロピー損失を用いて、標準的な分割と評価指標に従い、エンド・ツー・エンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 標準的なメモリネットワークと比較して、遅延付きメモリ更新機構がターゲット指向のアスペクトベース感情分析の性能向上に寄与するか。
• RQ2 メモリの更新を遅らせる能力が、長距離感情依存関係の処理に与える影響は何か。
• RQ3 一般用途の埋め込み（例：GloVe）のみを用いるモデルが、SenticNetなどの外部知識ベースに依存するモデルをどれほど上回れるか。
• RQ4 モデルの性能はメモリチェーンの数にどれほど敏感であり、エンティティ–アスペクトペアを捕捉するに適した最適な容量は何か。

主な発見

• 提案モデルは、アスペクト検出（F1: 78.0）および感情分類の両面で最先端の性能を達成し、SenticLSTMなどの外部知識ベースを用いるモデルを上回った。
• 特に『although expensive』のような遅延した感情信号を持つアスペクト（例：例(1)の'transit-location'）に対して、ベースラインのEntNetに比べてアスペクト検出性能が顕著に向上した。
• 可視化結果から、本モデルは長期間にわたり高いゲート活性を維持しており、LOC1における'transit-location'の感情を正しく『positive』と予測している。一方、EntNetは早期にゲートが閉じるため失敗している。
• メモリチェーン数が少なすぎる（n=2）と、アスペクト検出のF1は76.6に低下し、すべてのアスペクトを捉えるために十分なメモリ容量が不可欠であることが示された。
• n ≥ 5 のメモリチェーンを備えると、アスペクト検出のF1は78.0に安定し、適切なメモリ容量がある場合にモデルの性能が頑健かつスケーラブルであることが示された。