[論文レビュー] An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

Shaojie Bai, J. Zico Kolter+1 more|arXiv (Cornell University)|Mar 4, 2018

Topic Modeling参考文献 66被引用数 4,314

ひとこと要約

この論文は、単純で汎用的な Temporal Convolutional Network (TCN) を LSTM/GRU/RNN のベースラインと比較し、TCN がしばしばリカレントモデルを上回り、実用的記憶が長いことを示している。

ABSTRACT

For most deep learning practitioners, sequence modeling is synonymous with recurrent networks. Yet recent results indicate that convolutional architectures can outperform recurrent networks on tasks such as audio synthesis and machine translation. Given a new sequence modeling task or dataset, which architecture should one use? We conduct a systematic evaluation of generic convolutional and recurrent architectures for sequence modeling. The models are evaluated across a broad range of standard tasks that are commonly used to benchmark recurrent networks. Our results indicate that a simple convolutional architecture outperforms canonical recurrent networks such as LSTMs across a diverse range of tasks and datasets, while demonstrating longer effective memory. We conclude that the common association between sequence modeling and recurrent networks should be reconsidered, and convolutional networks should be regarded as a natural starting point for sequence modeling tasks. To assist related work, we have made code available at http://github.com/locuslab/TCN .

研究の動機と目的

• 系列モデリングにおける再帰的ネットワークのデフォルト使用を再評価する動機付け。
• 系列タスクの出発点として、単純で標準的なTCNアーキテクチャを提供する。
• 多様なベンチマーク（音楽、言語、合成テスト）を横断して、TCNと標準的なRNNを体系的に比較する。
• 長距離依存性を理解するため、TCNとRNNのメモリ保持の差を分析する。

提案手法

• シーケンス長を維持するための因果的1D畳み込みとゼロパディングを用いた汎用のTemporal Convolutional Network (TCN) を提案する。
• 因果性を保ちながら非常に長い受容野を達成するために拡張畳み込みを取り入れる。
• 層の次元を合わせる1x1射影を用いた残差ブロックを使用し、深いアーキテクチャを可能にする。
• TCN内で正則化を行うために重み正規化と空間的ドロップアウトを適用する。
• 同一モデルサイズと標準的な最適化（Adam、勾配クリッピング）を用いて、TCNをLSTM、GRU、そしてヴァニラRNNのベースラインと比較する。
• 多声音楽モデリング、単語レベル・文字レベルの言語モデリング、そして合成ストレステストを含む広範なタスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 因果的・拡張畳み込みを備えた汎用TCN は、標準的な系列モデリングベンチマークで標準的な再帰アーキテクチャを上回ることができるか？
• RQ2 畳み込みネットワークは、実践的にはLSTM/GRU/RNNモデルよりも長い有効履歴で情報を保持するか？
• RQ3 音楽、言語モデリング、合成メモリタスクなど、伝統的に再帰ネットワークのベンチマークとして使われるタスクでTCNはどのように性能を示すか？
• RQ4 メモリ使用量と訓練の安定性という観点で、TCNと再帰モデルの実用的なトレードオフは何か？

主な発見

Sequence Modeling Task	Model Size ( ≈ )	Models	LSTM	GRU	RNN	TCN
Seq. MNIST	70K	87.2	96.2	21.5	99.0
Permuted MNIST	70K	85.7	87.3	25.3	97.2
Adding problem T=600	70K	0.164	5.3e-5	0.177	5.8e-5
Copy memory T=1000	16K	0.0204	0.0197	0.0202	3.5e-5
Music JSB Chorales	300K	8.45	8.43	8.91	8.10
Music Nottingham	1M	3.29	3.46	4.05	3.07
Word-level PTB	13M	78.93	92.48	114.50	88.68
Word-level Wiki-103	-	48.4	-	-	45.19
Word-level LAMBADA	-	4186	-	14725	1279
Char-level PTB (bpc)	3M	1.36	1.37	1.48	1.31
Char-level text8 (bpc)	5M	1.50	1.53	1.69	1.45

• TCNは、広範な系列モデリングタスクにおいて標準的な再帰ネットワークを大幅に上回る。
• 加算問題やコピー memory タスクのような合成ストレステストでは、TCNはより早く収束し、LSTMs/GRUsより低い損失を達成する。
• Sequential MNISTとPermuted MNIST では、TCNは精度が高く、収束も速い。
• 多声音楽（JSB Chorales, Nottingham）および単語・文字レベルの言語モデリング（PTB, WikiText-103, LAMBADA, text8）では、TCNはタスク特化の調整なしで再発基準と同等かそれを超える。
• TCNは、同等のサイズのRNNより長い有効メモリを示し、コピー memory 及び LAMBADA の結果で裏付けられる。
• 総じて、本論文は畳み込みアーキテクチャが系列モデリングの自然な出発点であるべきだと主張する。