[论文解读] Trellis Networks for Sequence Modeling

Shaojie Bai, J. Zico Kolter+1 more|arXiv (Cornell University)|Oct 15, 2018

Topic Modeling参考文献 59被引用 68

一句话总结

TrellisNet 是一种新的序列模型，它在层之间绑定权重并将输入注入到每一层，充当循环神经网络和卷积网络之间的桥梁；在多种语言建模和长程基准测试中取得了最先进的结果。

ABSTRACT

We present trellis networks, a new architecture for sequence modeling. On the one hand, a trellis network is a temporal convolutional network with special structure, characterized by weight tying across depth and direct injection of the input into deep layers. On the other hand, we show that truncated recurrent networks are equivalent to trellis networks with special sparsity structure in their weight matrices. Thus trellis networks with general weight matrices generalize truncated recurrent networks. We leverage these connections to design high-performing trellis networks that absorb structural and algorithmic elements from both recurrent and convolutional models. Experiments demonstrate that trellis networks outperform the current state of the art methods on a variety of challenging benchmarks, including word-level language modeling and character-level language modeling tasks, and stress tests designed to evaluate long-term memory retention. The code is available at https://github.com/locuslab/trellisnet .

研究动机与目标

• 探索一种用于序列建模的新体系结构（TrellisNet），将循环和卷积方法统一起来。
• 演示 TrellisNet 能够重现截断的 RNN 并在标准基准上超越它们。
• 展示在单词级和字符级语言建模以及长程记忆任务上的实证提升。
• 分析 TrellisNet、TCNs 与 RNN 之间的联系，以实现技术的跨领域互学。

提出的方法

• 将 TrellisNet 定义为因果的、深层的、在各层之间绑定权重的 1D 卷积架构，并在各层中注入输入。
• 给出 M-截断 RNN 与具有稀疏层间核的 TrellisNet 等价性（定理 1）。
• 使用混合分组卷积来实现稀疏权重结构，以模仿 RNN。
• 在 TrellisNet 内采用受 LSTM 单元启发的门控激活（门控激活）。
• 结合 CNN（扩张、辅助损失、权重归一化）和 RNN（LSTM 门、变分 dropout）中的技术来提升 TrellisNet。
• 在 PTB、WT103、PTB 字符建模以及长程任务（Sequential MNIST、Permuted MNIST、Sequential CIFAR-10）上进行评估。

实验结果

研究问题

• RQ1 TrellisNet 是否能够推广截断的 RNN，并作为 RNN 与 CNN 之间的桥梁？
• RQ2 深度上的权重绑定和输入注入是否提升序列建模的性能？
• RQ3 TrellisNet 是否能在单词级和字符级语言建模上达到最先进的困惑度？
• RQ4 与循环和自注意力模型相比，TrellisNet 在长程记忆基准中的表现如何？

主要发现

模型	大小	测试困惑度 ℓ
Generic TCN (Bai et al., 2018)	13M	88.68
Variational LSTM (Gal & Ghahramani, 2016)	66M	73.4
NAS Cell (Zoph & Le, 2017)	54M	62.4
AWD-LSTM (Merity et al., 2018b)	24M	58.8
(Black-box tuned) NAS (Melis et al., 2018)	24M	59.7
(Black-box tuned) LSTM + skip conn. (Melis et al., 2018)	24M	58.3
AWD-LSTM-MoC (Yang et al., 2018)	22M	57.55
AWD-LSTM-MoS (Yang et al., 2018)	24M	55.97
ENAS (Pham et al., 2018)	24M	55.80
Ours - TrellisNet	24M	56.97
Ours - TrellisNet (1.4x larger)	33M	56.80
Ours - TrellisNet-MoS	25M	54.67
Ours - TrellisNet-MoS (1.4x larger)	34M	54.19

• TrellisNet 在 Penn Treebank 的词级建模和 WikiText-103 上设定了新的最先进困惑度。
• 在 PTB 上，TrellisNet 具有 24M 参数时达到 56.97 困惑度，较大配置达到 54.19。
• 在 WT103 上，TrellisNet 实现 29.19 困惑度，优于 Relational Memory Core 和 Merity 等人的结果。
• 对于 PTB 字符级，TrellisNet 实现 1.158 bits-per-character，超越了此前最佳。
• 在长程基准上，TrellisNet 达到了已报道的最高准确率：Seq MNIST 99.20, Permuted MNIST 98.13, Seq CIFAR-10 73.42。