[論文レビュー] On Multiplicative Integration with Recurrent Neural Networks

Yuhuai Wu, Saizheng Zhang+3 more|arXiv (Cornell University)|Jun 21, 2016

Neural Networks and Applications参考文献 27被引用数 60

ひとこと要約

本稿では、RNNの隠れ状態の加法的結合をハダマード積に置き換える単純なアーキテクチャ的変更である乗法的統合（MI）を提案する。これにより動的ゲーティングと改善された勾配伝播が可能となり、言語モデリング、音声認識、質問応答など複数のタスクで性能向上が達成される。パrameterの追加は最小限であり、LSTM や GRU のような標準的なRNN部品の即時置き換えが可能である。

ABSTRACT

We introduce a general and simple structural design called Multiplicative Integration (MI) to improve recurrent neural networks (RNNs). MI changes the way in which information from difference sources flows and is integrated in the computational building block of an RNN, while introducing almost no extra parameters. The new structure can be easily embedded into many popular RNN models, including LSTMs and GRUs. We empirically analyze its learning behaviour and conduct evaluations on several tasks using different RNN models. Our experimental results demonstrate that Multiplicative Integration can provide a substantial performance boost over many of the existing RNN models.

研究の動機と目的

• RNNの計算ユニットにおける情報伝達の統合方法を再考することで、学習ダイナミクスと一般化性能の向上を図ること。
• RNNにおける加法的ブロックの限界（勾配伝播の悪さ、動的ゲーティングの欠如）を克服するため、乗法的代替手法を導入すること。
• 既存のLSTM や GRU などのRNNアーキテクチャにスムーズに統合可能な、汎用的でモジュール的かつパラメータ効率の良い設計を開発すること。
• MIがモデルの複雑さを増さずに、最適化、一般化、性能の向上を多様な系列モデリングタスクで実証的に検証すること。

提案手法

• ハダマール積に基づく新しい計算ユニットを提案：$\phi((\mathbf{W}\bm{x} + \bm{\beta}_1) \odot (\mathbf{U}\bm{z} + \bm{\beta}_2) + \bm{b})$ であり、標準的な加法的結合 $\phi(\mathbf{W}\bm{x} + \mathbf{U}\bm{z} + \bm{b})$ を置き換える。
• ゲーティング機構を導入し、$\mathbf{W}\bm{x}$ が $\mathbf{U}\bm{z}$ を動的にスケーリングすることで、2次相互作用を実現し、より表現力があり適応的な情報伝達を可能にする。
• 乗法的相互作用の強度を制御する学習可能なゲートベクトル $\bm{\alpha}$ を導入し、$\phi(\bm{\alpha} \odot \mathbf{W}\bm{x} \odot \mathbf{U}\bm{z} + \bm{\beta}_1 \odot \mathbf{U}\bm{z} + \bm{\beta}_2 \odot \mathbf{W}\bm{x} + \bm{b})$ の形に拡張する。
• MIがLSTM や GRU のゲート部や出力層など、既存のRNN部品に最小限のアーキテクチャ的変更で直接置き換え可能であることを示す。
• 勾配の性質を分析し、乗法的相互作用に内在するゲーティング効果により、飽和の低減と最適化の改善が達成されることを示す。
• 4つの多様なタスク（文字レベルの言語モデリング、音声認識、文の表現学習（Skip-Thought）、機械的読解）において、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 RNNの基本ユニットにおける加法的結合を、ハダマール積に基づく乗法的演算に置き換えることで、モデルの性能と一般化性能が向上するか？
• RQ2 提案された乗法的統合（MI）は、再帰的ネットワークにおける勾配伝播と最適化ダイナミクスにどのように影響を与えるか？
• RQ3 MIは、パrameter数や学習複雑性を増さずに、LSTM や GRU などの既存RNNアーキテクチャにどの程度統合可能か？
• RQ4 パフォーマンス、パラメータ効率、最適化のしやすさという観点から、MIは先行の2次元RNNや乗法的RNNと比較してどの程度優れているか？
• RQ5 乗法的相互作用機構は、多様な系列モデリングタスクとデータセットにおいて、一貫して加法的機構を上回る性能を示すか？

主な発見

• 乗法的統合（MI）は、Penn-Treebank や text8 における文字レベルの言語モデリングを含め、複数のタスクで顕著な性能向上を達成し、標準RNNや HF-MRNN よりも優れている。
• ゲーティング効果により、隠れユニットの飽和が低減され、学習がより安定するため、一般化性能の向上と最適化の容易化が裏付けられている。
• 最小限のアーキテクチャ的変更で、スケールやタスクが異なる11のデータセットにおいてSOTA（最先端）の結果を達成している。
• $\bm{\alpha}$ ゲートベクトルの追加により、乗法的相互作用の制御的で学習可能なモodulationが可能となり、パラメータ数の大幅な増加なしに表現力が向上している。
• ランク1近似と共有パラメータ構造のおかげで、MIは先行の2次元モデル（Multiplicative RNN や second-order RNN）よりもパラメータ効率的かつ最適化が容易である。
• 実証的結果から、MIはLSTM や GRU の標準的な加法的ブロックを一貫して上回り、RNNバッチ正規化などの他の技術と組み合わせ可能であることが示された。