[論文レビュー] Aspect Term Extraction with History Attention and Selective Transformation

Xin Li, Lidong Bing+3 more|arXiv (Cornell University)|May 2, 2018

Sentiment Analysis and Opinion Mining参考文献 19被引用数 32

ひとこと要約

本論文は、各トークンごとに条件付けられた意見要約と、アスペクト検出履歴を用いたTruncated History Attention (THA) および Selective Transformation Network (STN) を活用することで、新しいフレームワークを提案する。文脈に適した意見要約と順序予測の手がかりを統合することで、4つのベンチマークデータセットにおいて最先端の手法を上回り、複雑なアスペクト構造やノイズの多いレビューにおいて、正確性と頑健性の面で顕著な向上を示した。

ABSTRACT

Aspect Term Extraction (ATE), a key sub-task in Aspect-Based Sentiment Analysis, aims to extract explicit aspect expressions from online user reviews. We present a new framework for tackling ATE. It can exploit two useful clues, namely opinion summary and aspect detection history. Opinion summary is distilled from the whole input sentence, conditioned on each current token for aspect prediction, and thus the tailor-made summary can help aspect prediction on this token. Another clue is the information of aspect detection history, and it is distilled from the previous aspect predictions so as to leverage the coordinate structure and tagging schema constraints to upgrade the aspect prediction. Experimental results over four benchmark datasets clearly demonstrate that our framework can outperform all state-of-the-art methods.

研究の動機と目的

• 既存のATE手法が意見語の共起パターンを十分に活用できないという限界を是正し、非意見語に誤検出を引き起こさないよう対処すること。
• 各ターゲットトークンに条件付けられた文脈に適した意見要約として要約されたグローバルな意見情報を取り入れることで、アスペクト語抽出を改善すること。
• 切り捨てられた履歴アテンションを用いてアスペクト検出履歴の順序的依存関係をモデル化することで、予測の一貫性を高めること。
• 関連する意見語のアテンションを強化する選択的変換ネットワークを適用することで、意見要約のノイズを低減すること。

提案手法

• モデルは、補助的な意見検出タスクから得られるグローバルな意見表現を用いて、文内のすべての意見表現に注目することで、トークンに条件付けられた意見要約を生成する。
• 現在のアスペクト特徴を組み込むことで、意見表現のアテンションを洗練させるために、選択的変換ネットワーク（STN）が導入される。これにより、関係のないまたはノイズの多い意見語が除外される。
• 切り捨てられた履歴アテンション（THA）は、以前のアスペクト予測からの依存関係を捉え、タグ付けスキーマ制約（例：B-I-O）を強制し、予測の一貫性を向上させる。
• 共有エンコーダーとタスク固有のヘッドを用いたマルチタスク学習の枠組みで、アスペクト語抽出と意見検出を同時に最適化する。
• 意見要約は、アスペクト予測ヘッドへの追加特徴入力として使用され、文脈への感受性が向上する。
• モデルは、アスペクトタグ付けにおける交差エントロピー損失を用いて、アテンションメカニズムが現在の予測ターゲットに動的に条件付けられる形で、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 各トークンに条件付けられた文脈に適した意見要約は、関連する意見の手がかりを捉えることで、アスペクト語抽出の正確性を向上させることができるか？
• RQ2 切り捨てられた履歴アテンションを用いてアスペクト検出履歴を活用することで、誤りの伝搬を低減し、ラベル付けの一貫性を向上させることができるか？
• RQ3 選択的変換ネットワークは、ノイズの多い意見表現を効果的にフィルタリングし、関連する意見語へのアテンションを強化することができるか？
• RQ4 本手法のフレームワークは、RNCRF や CMLA のような統合抽出モデルと比較して、複雑な文構造においてアスペクト語抽出性能と頑健性に優れているか？

主な発見

• 提案手法は、4つのベンチマークデータセットにおいて最先端の性能を達成し、RNCRF や CMLA を含む既存手法を上回った。
• 除去実験の結果、選択的変換ネットワーク（STN）または切り捨てられた履歴アテンション（THA）を削除すると、F1スコアが顕著に低下し、両者の有効性が確認された。
• 長大なアスペクト語や座標構造に対して、ベースライン手法が順序的文脈を欠いているために失敗するのに対し、本モデルは優れた性能を示した。
• アテンション可視化の結果、完全なモデルは関連する意見語（例：'unwelcoming', 'filthy'）に注目している一方で、関係のないまたは非意見語の語は抑制されていることが確認された。
• ベースライン手法が見逃すようなレアなまたはスペルミスされたアスペクト語（例：'survice'）を、意見語シグナルを活用することで正しく同定できた。
• 結果から、アスペクトと意見の統合的抽出が必ずしも必要ではないことが示唆された。意見文脈と予測履歴の別々の、しかし情報に基づいたモデリングが、より優れたATE性能をもたらすことがわかった。