[論文レビュー] Improving Review Representations with User Attention and Product Attention for Sentiment Classification

Zhen Wu, Xinyu Dai+3 more|arXiv (Cornell University)|Jan 24, 2018

Sentiment Analysis and Opinion Mining参考文献 28被引用数 39

ひとこと要約

本稿では、階層LSTM内に専用のユーザおよび製品アテンション機構を備えた、新しいニューラルネットワークフレームワークHUAPAを提案する。このモデルは、ユーザの好みと製品の特徴を別々にモデル化することで、ユーザの感情と製品の属性の明確な表現を学習し、重み付き損失戦略を用いて統合する。その結果、IMDBおよびYelpデータセットにおいて、既存手法を上回る最先端の性能を達成し、感情分類タスクで優れた性能を発揮する。

ABSTRACT

Neural network methods have achieved great success in reviews sentiment classification. Recently, some works achieved improvement by incorporating user and product information to generate a review representation. However, in reviews, we observe that some words or sentences show strong user's preference, and some others tend to indicate product's characteristic. The two kinds of information play different roles in determining the sentiment label of a review. Therefore, it is not reasonable to encode user and product information together into one representation. In this paper, we propose a novel framework to encode user and product information. Firstly, we apply two individual hierarchical neural networks to generate two representations, with user attention or with product attention. Then, we design a combined strategy to make full use of the two representations for training and final prediction. The experimental results show that our model obviously outperforms other state-of-the-art methods on IMDB and Yelp datasets. Through the visualization of attention over words related to user or product, we validate our observation mentioned above.

研究の動機と目的

• 既存のモデルがユーザと製品の情報を単一の表現に混同しているという限界に対処する。これは、感情の決定における両者の異なる役割を捉えられていないことを意味する。
• 観察されたレビュー内の言語的パターンに基づいて、ユーザの好みと製品の特徴が、レビューの感情を決定する際に異なる役割を果たしているかどうかを調査する。
• 別々のアテンション機構を用いてユーザおよび製品の視点を明示的にモデル化することで、レビュー表現学習を改善する。
• ユーザおよび製品アテンションの両方の視点を活用する訓練戦略を設計し、表現学習の質を向上させる。
• ベンチマークデータセットにおける注意可視化と実証的評価を通じて、モデルの解釈可能性と有効性を検証する。

提案手法

• モデルは、別々の視点からレビュー本文を符号化するため、ユーザアテンション付きと製品アテンション付きの2つの階層LSTMネットワークを採用する。
• ユーザアテンションは、個人の感情や好みを表す語（例：'love', 'disappointed'）に注目する。一方、製品アテンションは、製品の特徴に関連する記述語（例：'modern', 'cool'）を強調する。
• モデルは3つの成分を持つ組み合わせ損失関数を用いる：主な分類損失と、ユーザおよび製品アテンション表現の2つの補助損失。
• 補助損失（$loss_2$ および $loss_3$）は、学習可能なパラメータ（$\lambda_2$, $\lambda_3$）によって重み付けされ、訓練中に各視点の寄与度をバランスさせる。
• 最終的な予測は、ユーザアテンションネットワークと製品アテンションネットワークの2つのコンテキストベクトルを連結し、それを分類器に通すことで得られる。
• モデルは、感情分類と両方の視点からの表現品質を同時に最適化するため、損失の重み付き組み合わせを用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ユーザの好みと製品の特徴は、レビューの感情を決定する際に明確に異なる役割を果たしており、それらを別々にモデル化することが有益なのか？
• RQ2 ユーザおよび製品の視点に対する別々のアテンション機構は、統合的モデリングと比較して感情分類性能を向上させるのか？
• RQ3 提案された組み合わせ損失戦略は、ユーザおよび製品両方の視点からの表現学習を効果的に向上させるのか？
• RQ4 注意可視化により、モデルが正しく感情関連語（ユーザ）および特徴関連語（製品）を特定していることが確認できるのか？
• RQ5 標準的な感情分類ベンチマークにおいて、本モデルは最先端の手法を常にかつ顕著に上回る性能を達成するのか？

主な発見

• HUAPAモデルは、IMDBおよびYelpの両方のデータセットで最先端の性能を達成し、既存手法を上回る感情分類性能を示した。
• アブレーションスタディの結果、アテンションなしのベースラインモデルと比較して、ユーザアテンションおよび製品アテンションの両方が性能向上に寄与していることが確認され、各コンponentの有効性が裏付けられた。
• ユーザアテンションの寄与度が製品アテンションよりも顕著に高く、感情スコアが最終的にユーザ主導であるためと考えられる。
• 3つの損失成分（$loss_1$, $loss_2$, $loss_3$）をすべて含む完全なHUAPAモデルが最良の性能を達成し、組み合わせ訓練戦略の有効性が示された。
• 注意重みの可視化により、モデルが高得点でユーザ中心の語（例：'love'）および製品中心の語（例：'cool', 'modern'）を正しく特定していることが確認された。
• モデルは、肯定的な製品記述（'good'）と否定的なユーザ感情（'disappointed'）が併存する一貫性のない感情パターンを正しく捉え、正しい予測を下すことができた。