[論文レビュー] Intrinsically Sparse Long Short-Term Memory Networks

Shiwei Liu, Decebal Constantin Mocanu+1 more|arXiv (Cornell University)|Jan 26, 2019

Topic Modeling参考文献 19被引用数 6

ひとこと要約

本稿では、スパースな接続を持つ長短期記憶ネットワーク（SET-LSTM）を提案する。このモデルはスパースな進化的訓練（SET）により訓練され、完全結合LSTMの4%未塔のパラメータで感情分析タスクにおいて最先端の性能を達成する。LSTMセルおよび埋め込み層にスパースな接続性を初期化し、訓練中にトポロジーを進化させることで、メモリと計算コストを削減しつつ、4つのデータセットで精度を向上または同等に保つ。

ABSTRACT

Long Short-Term Memory (LSTM) has achieved state-of-the-art performances on a wide range of tasks. Its outstanding performance is guaranteed by the long-term memory ability which matches the sequential data perfectly and the gating structure controlling the information flow. However, LSTMs are prone to be memory-bandwidth limited in realistic applications and need an unbearable period of training and inference time as the model size is ever-increasing. To tackle this problem, various efficient model compression methods have been proposed. Most of them need a big and expensive pre-trained model which is a nightmare for resource-limited devices where the memory budget is strictly limited. To remedy this situation, in this paper, we incorporate the Sparse Evolutionary Training (SET) procedure into LSTM, proposing a novel model dubbed SET-LSTM. Rather than starting with a fully-connected architecture, SET-LSTM has a sparse topology and dramatically fewer parameters in both phases, training and inference. Considering the specific architecture of LSTMs, we replace the LSTM cells and embedding layers with sparse structures and further on, use an evolutionary strategy to adapt the sparse connectivity to the data. Additionally, we find that SET-LSTM can provide many different good combinations of sparse connectivity to substitute the overparameterized optimization problem of dense neural networks. Evaluated on four sentiment analysis classification datasets, the results demonstrate that our proposed model is able to achieve usually better performance than its fully connected counterpart while having less than 4\% of its parameters.

研究の動機と目的

• リソース制限のある環境における大規模LSTMモデルのメモリおよび計算効率の低さに対処すること。
• 既存の圧縮技術が高価な事前学習済み完全結合モデルに依存する問題を克服すること。
• 初期アーキテクチャ設計からスパarsityを導入することで、効率的な訓練および推論を可能にすること。
• 適応的スパース接続性が過パラメータ化された密なネットワークよりも優れた最適化のあり方をもたらすかどうかを検証すること。
• 実世界の順序付きNLPタスクにおけるスパースLSTMの性能およびロバストネスを評価すること。

提案手法

• LSTMセルおよび埋め込み層に初期からスパース接続性を持つ、新しいLSTMアーキテクチャであるSET-LSTMを導入する。
• 初期状態としてErdős-Rényiランダムグラフ構造を採用し、訓練中にスパーストポロジーを進化的に進化させるスパース進化的訓練（SET）手順を適用する。
• LSTMゲート内の標準的な完全結合線形変換を、スパースで学習可能な適応的接続パターンに置き換える。
• 性能フィードバックに基づいて反復的に接続を再接続する進化的戦略を用い、重みとトポロジーを同時に最適化する。
• 各訓練エポックごとにスパarsityの進化を制御するためのリワイヤレートハイパーパrameterを採用し、データに応じた動的適応を可能にする。
• 訓練および推論中にメモリ帯域と計算オーバーヘッドを削減するため、スパースデータ構造を活用する。

実験結果

リサーチクエスチョン

• RQ1 初期段階からLSTMにおけるスパース接続性を初期化することで、大幅に少ないパラメータで高い性能を達成できるか？
• RQ2 SETによる適応的スパーストポロジー進化は、過パラメータ化された密なLSTMよりも優れた一般化性能をもたらすか？
• RQ3 SET-LSTMの性能は、複数の感情分類ベンチマークにおいて完全結合LSTMと比べてどうか？
• RQ4 固定トポロジーと学習可能なトポロジー、および重み初期化の影響は、スパースネットワークの性能にどのような影響を及けるか？
• RQ5 スパarsityレベルとモデル精度の間にトレードオフがあるか。また、効果的な性能を発揮する最適なスパarsity範囲は何か？

主な発見

• SET-LSTMは、4つの感情分析データセットのうち3つで完全結合LSTMと同等または高い精度を達成し、パラメータ数を最大25倍まで削減した。
• IMDbデータセットでは、SET-LSTMは密度ベースラインの3.8%のパラメータで80.14%の精度を達成し、0.89%高い性能を示した。
• Yelp 2018データセットでは、SET-LSTMは密度対応の96%少ないパラメータで68.13%の精度を達成した。
• Twitterデータの最適なリワイヤレートはζ = 0.9であり、1エポックあたり接続の10%を保持することで、79.37%の精度を達成した。
• ランダム初期化で固定トポロジーを学習させた場合、元の進化的訓練（78.89%）と比較して著しく性能が低い（77.97%）ことが示され、重みとトポロジーの共同最適化の重要性が浮き彫りになった。
• 極端なスパarsity（99.1%のプルーニング）でさえ、SET-LSTMは78.75%の精度を維持し、密度LSTMの77.19%を上回った。これは、高スパarsityに強く、ロバストであることを示している。