[論文レビュー] Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network

Javier S. Turek, Shailee Jain+4 more|arXiv (Cornell University)|Aug 30, 2019

Manufacturing Process and Optimization被引用数 6

ひとこと要約

本稿では、入力と出力の間に時間遅れを設ける1層のRNN、すなわち遅延付き再帰的ニューラルネットワーク（d-RNN）を提案する。このd-RNNは、スタックドおよび双方向RNNアーキテクチャを近似することを目的としている。重み制約を課えたd-RNNがスタックドRNNと等価であることを証明し、合成データおよび実世界のNLPタスクを通じて、d-RNNが双方向およびスタックドネットワークと同等の性能を達成することを示した。また、構造が単純であるため、推論が高速化される点も特徴である。

ABSTRACT

Recent work has shown that topological enhancements to recurrent neural networks (RNNs) can increase their expressiveness and representational capacity. Two popular enhancements are stacked RNNs, which increases the capacity for learning non-linear functions, and bidirectional processing, which exploits acausal information in a sequence. In this work, we explore the delayed-RNN, which is a single-layer RNN that has a delay between the input and output. We prove that a weight-constrained version of the delayed-RNN is equivalent to a stacked-RNN. We also show that the delay gives rise to partial acausality, much like bidirectional networks. Synthetic experiments confirm that the delayed-RNN can mimic bidirectional networks, solving some acausal tasks similarly, and outperforming them in others. Moreover, we show similar performance to bidirectional networks in a real-world natural language processing task. These results suggest that delayed-RNNs can approximate topologies including stacked RNNs, bidirectional RNNs, and stacked bidirectional RNNs - but with equivalent or faster runtimes for the delayed-RNNs.

研究の動機と目的

• 1層のRNNに出力の遅れを導入するという単純なアーキテクチャ的変更が、深層および双方向RNNの表現力に近似できるかどうかを検討すること。
• 遅れが部分的な非因果的処理をもたらし、双方向ネットワークと同様に将来の文脈にアクセスできるかどうかを調査すること。
• d-RNNが合成および実世界の順序付きタスクにおいて、スタックドおよび双方向RNNと同等またはそれ以上の性能を達成できるかどうかを評価すること。
• d-RNNが単一の層構造に起因する単純さにより、より高速な推論時間を実現しながら、同等または優れた性能を発揮することを示すこと。

提案手法

• d-RNNは、1層のRNNとして定義され、時刻tにおける出力は遅れを伴う隠れ状態を用いて計算される。具体的には、$\mathbf{y}_t = g(\mathbf{W}_o \mathbf{h}_{t-d} + \mathbf{b}_o) $ と表され、dは遅延を表す。
• 本稿では、重みがスパースであるという制約下でのd-RNNが、数学的にスタックドRNNと等価であることを証明し、その表現力の理論的基盤を確立している。
• モデルは遅れを活用して、部分的な非因果的処理を可能にし、隠れ状態が過去および未来の入力情報を間接的に組み込むことを可能としている。
• 非因果的依存性（将来の文脈に依存するパターンの検出など）を要するタスクを解けるかどうかを評価するため、合成実験が実施された。
• LSTMおよび非LSTMバージョンのd-RNNを用いて、物の品詞タグ付けおよび文字レベルの言語モデル作成という実世界の評価が行われた。
• 複数の遅延値およびネットワーク構成において、標準的なスタックドRNN、双方向RNN、およびそれらのLSTM版と比較して性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 重み制約下において、1層の遅延付きRNNがスタックドRNNの表現力に近似できるか？
• RQ2 1層RNNの出力に遅れを導入することで、双方向RNNと同様の挙動を模倣する部分的な非因果的処理が可能になるか？
• RQ3 将来の文脈へのアクセスを要するタスクにおいて、d-RNNの性能は双方向およびスタックドRNNと比較してどうなるか？
• RQ4 d-RNNは、実世界のNLPタスクにおいて競争力のある性能を発揮しながらも、より高速な推論速度を維持できるか？
• RQ5 d-RNNアーキテクチャにおいて、性能と効率のバランスを最適化する最適な遅延値は何か？

主な発見

• 重み制約付きのd-RNNは理論的にスタックドRNNと等価であることが示され、遅れと深さの間の正式な関係を確立した。
• 合成実験の結果、d-RNNは非因果的タスクを双方向ネットワークと同様に解くことができ、一部のケースではそれらを上回ることも確認された。これは、遅れによって将来の文脈にアクセスできる能力に起因する。
• フランス語の品詞タグ付けタスクでは、遅延=1のd-LSTMが94.57%のテスト精度を達成し、最高性能のBi-LSTM（94.99%）と同等であり、標準LSTM（92.14%）を上回った。
• 文字レベルの言語モデル作成タスクでは、遅延=1のd-LSTMが97.04%のテスト精度を達成し、Bi-LSTM（97.22%）とほぼ同等であり、標準LSTM（96.10%）を上回った。
• 複数のベンチマークにおいて、d-RNNは双方向およびスタックドRNNと同等またはそれ以上の性能を安定して達成したが、構造が単純な1層であるため、より高速な推論が可能であった。
• 遅延=1のd-RNNは、性能と効率のバランスが最も良く、より高い遅延を持つバージョンを上回り、順序付きモデリングの強力なベースラインとして機能した。