[論文レビュー] Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks

Karthik Gopalakrishnan, Fathi M. Salem|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 9被引用数 4

ひとこと要約

本稿では、GOP討論のTwitterデータセットにおけるセンチメント分析において、学習を高速化し計算コストを低減するための6種類の簡素化されたLSTM（スリムLSTM）変種を提案する。研究では、スリムLSTM6が標準LSTMと同等の性能を達成しながらも顕著にパラメータ数を削減していることが判明した。一方で、双方向LSTM層の導入により全体の精度が向上し、RMSprop最適化手法がポジティブとネガティブなセンチメント分類のバランスを最も良くしている。

ABSTRACT

LSTM or Long Short Term Memory Networks is a specific type of Recurrent Neural Network (RNN) that is very effective in dealing with long sequence data and learning long term dependencies. In this work, we perform sentiment analysis on a GOP Debate Twitter dataset. To speed up training and reduce the computational cost and time, six different parameter reduced slim versions of the LSTM model (slim LSTM) are proposed. We evaluate two of these models on the dataset. The performance of these two LSTM models along with the standard LSTM model is compared. The effect of Bidirectional LSTM Layers is also studied. The work also consists of a study to choose the best architecture, apart from establishing the best set of hyper parameters for different LSTM Models.

研究の動機と目的

• LSTMネットワークを用いたセンチメント分析における計算コストと学習時間を削減すること。
• GOP討論のTwitterデータセット上で、6種類の簡素化されたLSTMアーキテクチャ（スリムLSTM）の性能を評価すること。
• センチメント分類の最適なモデルアーキテクチャ、ハイパーパramータ、および学習設定を特定すること。
• 双方向LSTM層および異なる最適化手法がモデル性能に与える影響を評価すること。
• 一般化性能を向上させるために最適なバッチサイズおよび学習・検証データ分割比を特定すること。

提案手法

• 標準LSTMネットワークのパrameterを削減した6種類の変種、いわゆる「スリムLSTM」を提案し、パラメータ数を最小限に抑え、学習を高速化する。
• 標準LSTMの式を用い、入力ゲート、フォーグットゲート、出力ゲートを定義：𝑖𝑡=𝜎(𝑈𝑖ℎ𝑡−1+𝑊𝑖𝑥𝑡+𝑏𝑖), 𝑓𝑡=𝜎(𝑈𝑓ℎ𝑡−1+𝑊𝑓𝑥𝑡+𝑏𝑓), 𝑜𝑡=𝜎(𝑈𝑜ℎ𝑡−1+𝑊𝑜𝑥𝑡+𝑏𝑜)，セル状態の更新式 𝑐𝑡=𝑖𝑡∗𝑐𝑡−1 + tanh(𝑈𝑐ℎ𝑡−1+W𝑐𝑥𝑡+𝑏𝑐) および隠れ状態 ℎ𝑡=𝑜𝑡∗tanh(𝑐𝑡) を使用。
• 時系列データにおける過去および未来の文脈を捉えるために、双方向LSTM層を統合し、長期依存関係のモデリングを向上させる。
• RMSpropおよびAdam最適化手法を用いてモデルを学習させ、収束を最適化するため学習率を3e-4または0.001に調整。
• バッチサイズ（16, 32, 64, 128）および学習・検証データ分割比（0.33, 0.4）を変化させ、最適な設定を同定。
• 過学習を軽減するためにドロップアウト層を適用したが、小さな学習データセットでも良好な性能を示したため、スリム化されたモデルでは過学習のリスクが低いと判明。

実験結果

リサーチクエスチョン

• RQ1 どのスリムLSTMバージョンが性能と計算効率の最良のトレードオフを達成するか？
• RQ2 双方向LSTM層の導入がセンチメント分類精度に与える影響は何か？
• RQ3 このTwitterデータセットにおけるセンチメント分析の最適なバッチサイズおよび学習・検証データ分割比は何か？
• RQ4 RMSpropとAdamのどちらの最適化手法がポジティブおよびネガティブセンチメント分類においてよりバランスの取れた性能を示すか？
• RQ5 スリム化によるモデルパラメータの削減は、精度を損なわずに学習速度を向上させるか？

主な発見

• スリムLSTM6は、標準LSTM（82%）と同等の性能を示しながらも、顕著に計算コストを削減し、全体の正解率は83%を達成した。
• RMSprop最適化手法は、Adamよりもポジティブとネガティブセンチメント分類のバランスを良くし、それぞれ71%（ポジティブ）および81%（ネガティブ）の正解率を達成した。一方、Adamは67%（ポジティブ）および83%（ネガティブ）であった。
• 最適なバッチサイズは16であり、これは最高の全体正解率を達成し、1エポックあたりの学習イテレーション回数を増やせるためである。
• 学習・検証データ分割比として0.4（60%学習、40%検証）が、一般的に「より多くの学習データが良い」とされる仮定とは対照的に、0.33よりも優れた性能を示した。
• LSTMブロックの後に全結合層を追加すると、パラメータ数と学習時間が増加するが、性能の向上は見られなかった。これは、このような層の追加が推奨されないことを示している。
• 双方向LSTM層は、過去および未来の時系列ポイントからの文脈を提供することで、全体のシステム性能を向上させた。