[論文レビュー] Cached Long Short-Term Memory Neural Networks for Document-Level Sentiment Classification

Jiacheng Xu, Danlu Chen+2 more|arXiv (Cornell University)|Oct 17, 2016

Topic Modeling参考文献 27被引用数 7

ひとこと要約

本稿では、異なる忘却率を持つ複数のメモリグループを導入することで、文書レベルのセンチメント分類の性能を向上させるためのキャッシュ付き長短期記憶（CLSTM）ネットワークを提案する。LSTMの隠れ状態を、それぞれ異なる忘却ダイナミクスを持つ明確なメモリグループに分割することにより、CLSTMは長距離のセンチメント依存関係をよりよく保持でき、Yelp 2013、Yelp 2014、およびIMDBデータセットで最先端の性能を達成した。外部のユーザーや製品情報に依存せずに、一方向および双方向のベースラインを上回った。

ABSTRACT

Recently, neural networks have achieved great success on sentiment classification due to their ability to alleviate feature engineering. However, one of the remaining challenges is to model long texts in document-level sentiment classification under a recurrent architecture because of the deficiency of the memory unit. To address this problem, we present a Cached Long Short-Term Memory neural networks (CLSTM) to capture the overall semantic information in long texts. CLSTM introduces a cache mechanism, which divides memory into several groups with different forgetting rates and thus enables the network to keep sentiment information better within a recurrent unit. The proposed CLSTM outperforms the state-of-the-art models on three publicly available document-level sentiment analysis datasets.

研究の動機と目的

• 再帰的アーキテクチャを用いた文書レベルのセンチメント分類において、長距離のセンチメント依存関係をモデル化する課題に対処すること。
• 標準LSTMが一様な忘却率を持つため、長いシーケンスにおいてグローバルなセンチメント情報を保持する能力に制限があることの克服。
• 1つのRNNユニット内で短期的および長期的センチメント手がかりを区別するメモリ機構の設計。
• ユーザーや製品情報などの外部メタデータに依存せずに、文書レベルのセンチメントデータセットで優れた性能を達成すること。

提案手法

• LSTMの隠れ状態を複数のグループに分割するキャッシュ機構を導入し、各グループに異なる忘却率を割り当てる。
• 一時的な局所的センチメントパターンの保持を可能にするために、短期的キャッシュとして機能するグループには高い忘却率を割り当てる。
• 長いシーケンスにわたりグローバルなセンチメントコンテキストを保持する長期記憶として機能するグループには、低い忘却率を割り当てる。
• バックプロパゲーション・スル・タイムを用いてエンドツーエンドで学習し、グループ間でパラメータを共有するが、各グループごとに独立した忘却ゲートを設ける。
• 異なるシーケンスモデリング方向を評価するために、一方向および双方向のバージョン（CLSTMおよびB-CLSTM）を実装する。
• 階層モデルの複雑さを避けるために、標準LSTMと同等のパラメータ数を維持することで、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 異なった忘却率を持つ複数グループのメモリ機構は、文書レベルのセンチメント分類におけるRNNの長距離センチメントモデリングを改善できるか？
• RQ2 提案されたCLSTMモデルは、標準LSTMやCIFG-LSTMなどの他の高度なバージョンと比較して、長文におけるグローバルなセンチメントパターンをどのように捉えているか？
• RQ3 固定の忘却率や双方向アーキテクチャに依存するモデルと比較して、キャッシュ機構は長文における性能向上を実現できるか？
• RQ4 多くの先行研究が依存する外部のユーザーや製品情報に依存せずに、CLSTMは最先端の結果を達成できるか？

主な発見

• Yelp 2013データセットではCLSTMが59.4％の精度を達成し、一方向ベースラインのLSTMを上回り、双方向モデルの性能に近づいた。
• IMDBデータセットではCLSTMが45.8％の精度を達成し、標準LSTMやCIFG-LSTMを著しく上回り、ユーザーや製品情報を利用したモデルをも凌駆した。
• 双方向バージョン（B-CLSTM）はYelp 2014で61.0％の精度を達成し、長く複雑な文書においても強力な性能を示した。
• モデルは文書長さに対して頑健であり、長文においても高い精度を維持した。IMDBデータセットでは、B-CLSTMが全長さ区間でCIFG-BLSTMを上回った。
• Yelp 2013では4つのメモリグループで最適な性能が得られ、5つ以上のグループに増やすとグループあたりの容量が減少するため性能が低下した。
• B-CLSTMは標準モデルやベースラインモデルよりも高速に収束した。これは、複数グループのメモリ設計による構造的初期化と勾配安定性のおかげである。