[論文レビュー] Simplified Minimal Gated Unit Variations for Recurrent Neural Networks

Joel C. Heck, Fathi M. Salem|arXiv (Cornell University)|Jan 12, 2017

Neural Networks and Applications参考文献 7被引用数 9

ひとこと要約

本論文は、最小ゲーテッドユニット（MGU）のフォグ・ゲートダイナミクス式のパラメータを削減することで、MGU1、MGU2、MGU3の3つの簡素化されたバージョンを提案する。これらのバージョンは、MNISTおよびReuters Newswireデータセットにおいて、元のMGUおよびGRUと同等またはそれ以上の精度を達成するとともに、トレーニングコストを低減しており、特にMGU2は両データセットでMGUを上回る性能を示した。

ABSTRACT

Recurrent neural networks with various types of hidden units have been used to solve a diverse range of problems involving sequence data. Two of the most recent proposals, gated recurrent units (GRU) and minimal gated units (MGU), have shown comparable promising results on example public datasets. In this paper, we introduce three model variants of the minimal gated unit (MGU) which further simplify that design by reducing the number of parameters in the forget-gate dynamic equation. These three model variants, referred to simply as MGU1, MGU2, and MGU3, were tested on sequences generated from the MNIST dataset and from the Reuters Newswire Topics (RNT) dataset. The new models have shown similar accuracy to the MGU model while using fewer parameters and thus lowering training expense. One model variant, namely MGU2, performed better than MGU on the datasets considered, and thus may be used as an alternate to MGU or GRU in recurrent neural networks.

研究の動機と目的

• 最小ゲーテッドユニット（MGU）のパrameter数を減らすと同時に、性能を維持または向上させること。
• GRUおよびMGUの表現力を持ちながら、計算コストを低く抑えた簡素化されたアーキテクチャを探索すること。
• 複雑さを軽減することで、トレーニングが速くなり、系列モデリングタスクにおける精度が同等または向上するかどうかを評価すること。
• 系列学習における再帰的ニューラルネットワークのGRUおよびMGUの効率的代替案を提供すること。

提案手法

• 元のMGUにおけるフォグ・ゲートダイナミクス式の簡素化により、MGU1、MGU2、MGU3の3つの変種を提案した。
• アーキテクチャの簡素化を通じて、フォグ・ゲート機構のパラメータ数を削減した。
• MGUのコアなゲーティングメカニズムを保持したが、余分なまたは複雑な要素を最小限に抑えた。
• MNISTおよびReuters Newswire Topics（RNT）データセットでモデルをトレーニングし、性能と効率を評価した。
• 標準的なRNNトレーニング手順を用い、時間方向に誤差逆伝播（backpropagation through time）と確率的勾配降下法（stochastic gradient descent）を適用した。
• 各変種における精度とトレーニングコストの観点から、モデルの性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 最小ゲーテッドユニット（MGU）は、性能を損なわずにさらに簡素化可能か？
• RQ2 パラメータを削減したMGUの変種は、精度を維持しつつ、トレーニング効率を向上させるか？
• RQ3 簡素化されたMGUの変種は、系列モデリングベンチマークにおいてGRUおよび元のMGUと比べてどうか？
• RQ4 ゲーティングRNNユニットにおいて、モデルの複雑さと性能の間にトレードオフがあるか？

主な発見

• MGU2は、MNISTおよびReuters Newswire Topics（RNT）データセットの両方で、元のMGUを上回る高い精度を達成した。
• MGU1、MGU2、MGU3の3つのすべての変種が、元のMGUと同等またはそれ以上の精度を達成したが、パラメータ数が少ない。
• 簡素化されたモデルはパラメータ数の削減によりトレーニングコストが低下し、計算効率が向上した。
• MGU2はRNTデータセットにおいて、MGUおよびGRUの両方を上回った。これは、系列モデリングにおいて潜在的な利点があることを示唆している。
• 結果から、フォグ・ゲート機構のアーキテクチャ的簡素化が、複雑さを軽減しつつ性能を向上させることの可能性があることが示された。