[論文レビュー] Dilated Recurrent Neural Networks

Shiyu Chang, Yang Zhang+8 more|arXiv (Cornell University)|Oct 5, 2017

Advanced Neural Network Applications被引用数 119

ひとこと要約

DilatedRNNを導入した多層リカレントアーキテクチャで、膨張したスキップ接続と指数的に増加する膨張を用いて、長距離依存をより少ないパラメータと高速な学習で捉えることが可能である。理論的なメモリ容量分析と、複数のタスクにおける実証的検証を提供する。

ABSTRACT

Learning with recurrent neural networks (RNNs) on long sequences is a notoriously difficult task. There are three major challenges: 1) complex dependencies, 2) vanishing and exploding gradients, and 3) efficient parallelization. In this paper, we introduce a simple yet effective RNN connection structure, the DilatedRNN, which simultaneously tackles all of these challenges. The proposed architecture is characterized by multi-resolution dilated recurrent skip connections and can be combined flexibly with diverse RNN cells. Moreover, the DilatedRNN reduces the number of parameters needed and enhances training efficiency significantly, while matching state-of-the-art performance (even with standard RNN cells) in tasks involving very long-term dependencies. To provide a theory-based quantification of the architecture's advantages, we introduce a memory capacity measure, the mean recurrent length, which is more suitable for RNNs with long skip connections than existing measures. We rigorously prove the advantages of the DilatedRNN over other recurrent neural architectures. The code for our method is publicly available at https://github.com/code-terminator/DilatedRNN

研究の動機と目的

• RNN で長い系列の学習時に直面する複雑な依存関係、勾配の消失/爆発、学習の非効率性といった課題に対処する。
• パラメータを削減し、並列計算を可能にする膨張型リカレントアーキテクチャを提案する。
• 理論に基づくメモリ容量指標を提供し、他の再帰構造に対する利点を証明する。
• DilatedRNN を長期記憶、ピクセルごと MNIST、文字レベル言語モデリング、Raw waveform の話者識別で経験的に検証する。

提案手法

• 膨張リカレントスキップ接続 c_t^(l) = f(x_t^(l), c_{t-s^(l)}^(l)) を導入し、直接的な c_{t-1}^(l) 依存を排除する。
• 指数的に増加する膨張 s^(l) = M^{l-1} を用いて複数の膨張リカレント層を積み重ね、DilatedRNN を形成する。
• DilatedRNN を一般化するには、膨張を M^{l0} から開始し、欠落する依存を補うために任意で 1-by-M^{l0} の畳み込み最終層を追加する。
• メモリ容量指標として平均リカレント長を定義・使用し、時間スパン全体での情報の流れを評価する。
• ノードあたりのリカレントエッジ数でパラメータ効率を比較し、N_r = 1 制約の下で DilatedRNN が平均リカレント長を最小化することを証明する。
• 记 dilated CNN との関係や Clockwork RNNs との関係を議論し、メモリ容量と効率の利点を際立たせる。

実験結果

リサーチクエスチョン

• RQ1 DilatedRNN アーキテクチャは標準的な RNN や膨張 CNN と比較して長い系列のメモリ容量と訓練効率を改善するか。
• RQ2 指数的に増加する膨張は、パラメータ効率を維持しつつマルチスケールの時系列モデリングを提供できるか。
• RQ3 平均リカレント長は DilatedRNN と他のアーキテクチャの間で時間スパン全体のメモリ容量をどのように定量化するか。
• RQ4 コピー・メモリ、MNIST ピクセルごと分類、Penn Treebank 言語モデリング、VCTK 話者識別などのタスクで、DilatedRNN は長期記憶でどの程度の経験的利得を得るか。

主な発見

• DilatedRNN はパラメータ数を抑制しつつ訓練効率を高め、長い系列タスクで最先端の性能と同等の結果を得る。
• DilatedRNN は vanilla RNN、LSTM、GRU に比べ、長期記憶およびノイズの多い系列タスクで顕著な改善を示す。
• 層間での指数的膨張はマルチスケールの時系列学習を可能にし、長距離依存の捉え方を改善する。
• 提案された平均リカレント長は理論的に根拠のあるメモリ容量指標を提供し、同程度のパラメータ予算の下で通常のスキップ RNN よりもメモリ効率が高いことを示す。
• 膨張 CNN と比較して、DilatedRNN は真の再帰的接続により受容野を超えたメモリを持ち、より長いメモリを可能にする。
• コピー・メモリ、MNIST ピクセルごとの分類、Penn Treebank 言語モデリング、VCTK 話者識別などのタスクにおいて、DilatedRNN の変種は基線を上回るか同等で、パラメータ数が大幅に少ない場合が多い。