[論文レビュー] Benefits of Depth for Long-Term Memory of Recurrent Networks

Yoav Levine, Or Sharir+1 more|arXiv (Cornell University)|Oct 25, 2017

Parallel Computing and Optimization Techniques参考文献 35被引用数 8

ひとこと要約

本稿では、再帰的ネットワークにおける長期記憶容量を測る指標として「スタート・エンド分離ランク」を導入し、深層RNNが長距離の時系列依存関係を表現する際、浅層RNNを指数的に上回ることを証明する。再帰的算術回路（RACs）を用いた量子テンソルネットワークの手法を適用することで、深さが長時間スケールの順序データモデリングにおける表現力の向上に根幹的に寄与することを確立する。

ABSTRACT

The key attribute that drives the unprecedented success of modern Recurrent Neural Networks (RNNs) on learning tasks which involve sequential data, is their ever-improving ability to model intricate long-term temporal dependencies. However, an adequate measure of RNNs long-term memory capacity is lacking, and thus formal understanding of their ability to correlate data throughout time is limited. Though depth efficiency in convolutional networks is well established, it does not suffice in order to account for the success of deep RNNs on data of varying lengths, and the need to address their `time-series expressive power' arises. In this paper, we analyze the effect of depth on the ability of recurrent networks to express correlations ranging over long time-scales. To meet the above need, we introduce a measure of the information flow across time supported by the network, referred to as the Start-End separation rank. This measure essentially reflects the distance of the function realized by the recurrent network from a function that models no interaction whatsoever between the beginning and end of the input sequence. We prove that deep recurrent networks support Start-End separation ranks which are exponentially higher than those supported by their shallow counterparts. Thus, we establish that depth brings forth an overwhelming advantage in the ability of recurrent networks to model long-term dependencies. Such analyses may be readily extended to other RNN architectures of interest, e.g. variants of LSTM networks. We obtain our results by considering a class of recurrent networks referred to as Recurrent Arithmetic Circuits (RACs), which merge the hidden state with the input via the Multiplicative Integration operation. Finally, we make use of the tool of quantum Tensor Networks to gain additional graphic insight regarding the complexity brought forth by depth in recurrent networks.

研究の動機と目的

• 再帰的ネットワークの長期記憶容量を正式に測定するための指標が不足しているという問題に取り組む。
• 変動長のシーケンスを含む順序タスクにおいて、深層RNNが浅層RNNを上回る理由を理解する。
• シーケンス内の遠く離れた時刻同士の相関関係をRNNがどの程度表現できるかを定量的に測定する。
• 畳み込みネットワークで知られているもの以上の範囲で、再帰的アーキテクチャにおける深さの効率性の理論的基盤を確立する。
• 提案された指標とフレームワークを用いて、LSTMなどの実用的RNN変種への分析を拡張する。

提案手法

• 本稿では、再帰的ネットワークにおけるシーケンスの開始と終了の間の情報フローを形式的指標として「スタート・エンド分離ランク」を導入する。
• 隠れ状態と入力を乗法的結合で統合する仕組みを用いて、再帰的ネットワークを再帰的算術回路（RACs）としてモデル化する。
• 理論的分析により、分離ランクが深さに伴い指数関数的に増加するのに対し、浅層ネットワークでは多項式的増加に留まることを示す。
• 量子テンソルネットワークを活用することで、RNNにおける深さが引き起こす複雑性の図的かつ構造的洞察を提供する。
• RACの定式化を適応することで、LSTM変種を含む他のRNNアーキテクチャへの一般化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 再帰的ネットワークの長期記憶容量を形式的に測定する方法は何か？
• RQ2 深さがRNNにおける長距離時系列依存関係の実現に与える定量的利点は何か？
• RQ3 なぜ深層RNNは変動長の順序タスクにおいて浅層RNNを上回るのか？
• RQ4 時間スケールにわたる再帰的アーキテクチャの表現力の一貫した指標を定義できるか？
• RQ5 RACsにおける乗法的統合メカニズムは、長時間にわたるシーケンスにおいて情報フローをどのように向上させるか？

主な発見

• 深層RNNのスタート・エンド分離ランクは、ネットワークの深さに伴い指数関数的に増加し、長距離依存関係のモデリングにおける根本的優位性を示している。
• これに対し、浅層RNNは分離ランクの多項式的増加に限定され、遠く離れた時刻の相関関係をとらえる能力が制限されている。
• 深層ネットワークにおける指数的分離ランクは、複雑な時系列相関をモデリングする際の表現力の著しい向上を示唆している。
• 再帰的算術回路（RACs）の使用により、RNNにおける情報フローと深さの効率性の正確な理論的分析が可能になった。
• 量子テンソルネットワーク表現は、再帰的アーキテクチャにおける深さが引き起こす複雑性の視覚的・構造的直感を提供する。