[論文レビュー] Rethinking Full Connectivity in Recurrent Neural Networks

Matthijs Van Keirsbilck, Alexander Keller+1 more|arXiv (Cornell University)|May 29, 2019

Advanced Neural Network Applications参考文献 39被引用数 14

ひとこと要約

この論文は、RNNにおける完全結合を置き換えるために局所的または自己結合を備えた構造的にスパースな再帰的ニューラルネットワーク—具体的にはDiagonalRNNとBandRNN—を提案する。再帰的重み行列をスパースでハードウェアにやさしい構造にすることで、メモリと計算量を100倍以上削減しつつ、言語モデリング、音声認識、動画アクション認識のタスクで競争力のある性能を維持できる。

ABSTRACT

Recurrent neural networks (RNNs) are omnipresent in sequence modeling tasks. Practical models usually consist of several layers of hundreds or thousands of neurons which are fully connected. This places a heavy computational and memory burden on hardware, restricting adoption in practical low-cost and low-power devices. Compared to fully convolutional models, the costly sequential operation of RNNs severely hinders performance on parallel hardware. This paper challenges the convention of full connectivity in RNNs. We study structurally sparse RNNs, showing that they are well suited for acceleration on parallel hardware, with a greatly reduced cost of the recurrent operations as well as orders of magnitude less recurrent weights. Extensive experiments on challenging tasks ranging from language modeling and speech recognition to video action recognition reveal that structurally sparse RNNs achieve competitive performance as compared to fully-connected networks. This allows for using large sparse RNNs for a wide range of real-world tasks that previously were too costly with fully connected networks.

研究の動機と目的

• 特に低消費電力・低コストデバイスにおける完全結合RNNの高い計算コストとメモリコストを低減すること。
• 現代のハードウェアで並列処理が制限されるRNNの順序的ボトルネックを克服すること。
• 構造的にスパースなRNNが、パラメータ数と推論コストを著しく削減しながらも、完全結合RNNと同等またはそれ以上の性能を達成できるかどうかを検証すること。
• 密な再帰的接続をスパースで局所的または自己結合に置き換えた際のアーキテクチャ的およびハードウェア的影響を調査すること。
• モデル容量を損なわずに、構造的スパarsityを活用することで、固定されたハードウェア予算内でより大きなネットワークサイズを実現すること。

提案手法

• 各ニューロンが対角再帰的重み行列を通じて自分自身にのみ接続されるDiagonalRNNを導入し、再帰的計算量をO(n²)からO(n)に削減する。
• 各ニューロンが自分自身と固定数の隣接ニューロン（C）にのみ接続される局所結合バージョンであるBandRNNを提案し、帯状の重み行列を形成する。
• GPUやTPUの加速に適した定期的なメモリアクセスパターンを保証するため、非構造的プルーニングではなく構造的スパarsityを用いる。
• 言語モデリング（LibriTTS）、音声認識（VCTK）、動画アクション認識（UCF101）の標準ベンチマークでスパースRNNを訓練および評価する。
• テストCER、精度、再帰的パラメータ数を測定し、完全結合GRUやLSTMと性能と効率を比較する。
• PreRNNのような既存アーキテクチャと統合し、エンドツーエンドモデルにおける相互運用性と性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 局所的または自己結合を備えた構造的にスパースなRNNは、系列モデリングタスクにおいて完全結合RNNと同等の性能を達成できるか？
• RQ2 構造的スパarsityによって、再帰的パラメータ数と計算コストをどの程度削減できるか、同時にモデル精度を維持できるか？
• RQ3 固定されたハードウェア予算下で、ネットワークサイズが拡大するに従い、スパースRNNの性能は完全結合モデルと比べてどの程度スケーリングするか？
• RQ4 スパースRNNは、同じメモリと計算制約内に、より大きなネットワークアーキテクチャを実現可能にし、性能向上をもたらすか？
• RQ5 構造的スパarsityの使用により、非構造的スパarsityや密なRNNと比較して、より優れたハードウェア並列処理とスループット向上が達成できるか？

主な発見

• DiagonalRNNとBandRNNは、LibriTTSとVCTKで完全結合GRUと同等の性能を達成し、それぞれ8.57%および9.69%のテストCERを記録。再帰的重みは最大100倍まで削減された。
• UCF101動画アクション認識タスクでは、DiagonalRNNとBandRNNが92.5〜93.5%の精度を達成。再帰的重みは2.19×10⁵〜4.98×10⁶にまで削減され、全PreRNNと比較して最大100倍も少ない。
• より大きなスパースネットワーク（例：DiagonalGRUで1100ユニット）は、同じパラメータ予算下でより小さな完全結合モデル（例：Full GRUで768ユニット）を上回る性能を示した。
• 構造的スパarsityの使用により、密なRNNに内在する順序的ボトルネックが解消され、効率的な並列処理が可能になり、ハードウェア利用効率が向上した。
• C=201のBandRNNはUCF101で93.2%の精度を達成。再帰的重みは4.98×10⁶にまで削減され、全PreRNNと同等の性能を維持しながら、再帰的パラメータを約80%削減した。
• DiagonalRNNとPreRNN-SIHの組み合わせは、再帰的重みがたった2.19×10⁵にまで削減され、全PreRNNと比較して100倍以上も少ないにもかかわらず92.6%の精度を達成した。