[論文レビュー] Cold-Start Aware User and Product Attention for Sentiment Classification

Reinald Kim Amplayo, Jihyeok Kim+2 more|arXiv (Cornell University)|Jun 14, 2018

Sentiment Analysis and Opinion Mining被引用数 3

ひとこと要約

本稿では、新規ユーザー・新規製品の状況に配慮したアテンション機構を備えた軽量なモデル、Hybrid Contextualized Sentiment Classifier (HCSC) を提案する。CSAA は、頻度に従うゲートによって、類似したエンティティからの共有ベクトルと、ユーザー／製品固有の特徴ベクトルの間で動的に切り替える。このアプローチにより、データが乏しい状況下でも従来のモデルを著しく上回り、学習時間も最大10.7倍短縮される。

ABSTRACT

The use of user/product information in sentiment analysis is important, especially for cold-start users/products, whose number of reviews are very limited. However, current models do not deal with the cold-start problem which is typical in review websites. In this paper, we present Hybrid Contextualized Sentiment Classifier (HCSC), which contains two modules: (1) a fast word encoder that returns word vectors embedded with short and long range dependency features; and (2) Cold-Start Aware Attention (CSAA), an attention mechanism that considers the existence of cold-start problem when attentively pooling the encoded word vectors. HCSC introduces shared vectors that are constructed from similar users/products, and are used when the original distinct vectors do not have sufficient information (i.e. cold-start). This is decided by a frequency-guided selective gate vector. Our experiments show that in terms of RMSE, HCSC performs significantly better when compared with on famous datasets, despite having less complexity, and thus can be trained much faster. More importantly, our model performs significantly better than previous models when the training data is sparse and has cold-start problems.

研究の動機と目的

• ユーザーまたは製品にレビューが少なく、学習データが不足する状況における新規スタート問題に対処すること。
• 特徴ベクトルに十分な情報がない場合に、類似したユーザー／製品からの共有表現を活用することで、スパースデータセットにおけるモデル性能を向上させること。
• 高い精度を維持しつつ、効率を損なわず、軽量で高速に学習可能なモデルを設計すること。
• 頻度に従うゲート機構を用いて、新規スタートとそうでないエンティティの違いを明示的にモデル化すること。
• データスパarsity を意識したユーザーおよび製品の文脈統合が、顕著な性能向上をもたらすことを示すこと。

提案手法

• HCSC は、単語表現の短距離および長距離の依存関係を捉える高速なハイブリッドコンテキストワードエンコーダーを採用している。
• 新規スタートに配慮したアテンション（CSAA）を導入し、3つの要素を統合する：固有のユーザー／製品ベクトル、類似ユーザー／製品からの共有ベクトル、および頻度に従う選択ゲート。
• 頻度に従うゲートは、高頻度のユーザー／製品には固有ベクトル、低頻度（新規スタート）のエンティティには共有ベクトルを用いるかどうかを決定する。
• 共有ベクトルは、属性の類似度に基づいて類似ユーザーまたは製品の埋め込みから計算され、データが乏しい状況でも知識の転送を可能にする。
• スタックされたLSTMではなく、単一段階のBiLSTMまたはCNNを用いることで、学習時間を短縮しながら性能を維持している。
• 最終的な符号化表現に対してアテンションプーリングを適用し、ゲート機構が固有ベクトルと共有ベクトルの寄与度を制御している。

実験結果

リサーチクエスチョン

• RQ1 レビュー数が少ない、もしくはデータが乏しい状況下で、ユーザーおよび製品の情報を感情分析に効果的に統合する方法は何か？
• RQ2 単純なユーザー／製品特徴の統合と比較して、頻度に従うゲート機構は、新規スタートユーザーおよび製品の性能向上にどの程度寄与するか？
• RQ3 複雑な深層アーキテクチャ（例：階層的LSTM）と比較して、軽量なアテンション機構は、精度と学習速度の両面で優れているか？
• RQ4 データスパarsity および新規スタートの頻度が異なるデータセットにおいて、モデルの性能はどのように変化するか？
• RQ5 ユーザーまたは製品を新規スタートとみなすための最適な閾値は何か？また、モデルはこの基準にどのように適応するか？

主な発見

• IMDB および Yelp 2013 データセットにおいて、HCSC はモデルの複雑さを低減しても、従来のSOTAモデル NSC よりも顕著に低い RMSE を達成した。
• スパースデータセットにおいて、HCSC は競合モデルと比較して顕著な性能向上を示し、新規スタート状況の処理における有効性を裏付けた。
• Yelp 2013 データセットにおいて、HCSC は NSC よりも最大10.7倍の学習時間を短縮した。これは、スタックされたLSTMではなく単一段階のBiLSTMを採用したためである。
• ワイブル累積分布分析の結果、ユーザーは約5件のレビューで非新規スタートと見なされ、製品は約40件のレビューで同様の信頼性を持つ固有ベクトルが利用可能になると判明した。
• アテンションおよびゲート値の可視化により、HCSC が新規スタートユーザーおよび製品に対して正しく共有ベクトルに切り替えることが確認され、'fresh' や 'enjoyed' のような関連する感情語に注目している。
• 共有ベクトルが意味的に意味を持つことが示された。非新規スタートエンティティの固有ベクトルと類似しており、知識転送機構の妥当性が裏付けられた。