[论文解读] IGLOO: Slicing the Features Space to Represent Long Sequences.

Vsevolod Sourkov|arXiv (Cornell University)|Jul 9, 2018

Topic Modeling参考文献 29被引用 3

一句话总结

IGLOO 是一种新颖的神经网络架构，通过从堆叠卷积生成的特征图中切片提取非局部区域，以建模序列中的长距离依赖关系，从而实现对超过 20,000 步序列的高效处理。该模型在复制记忆、加法、置换 MNIST（98.4%）和 Wikitext-2 等长序列任务上表现出色，其性能与 Transformer 相当，同时优于 AWD-LSTM。

ABSTRACT

Historically, Recurrent neural networks (RNNs) and its variants such as LSTM and GRU and more recently Transformers have been the standard go-to components when processing sequential data with neural networks. One notable issue is the relative difficulty to deal with long sequences (i.e. more than 20,000 steps). We introduce IGLOO, a new neural network architecture which aims at being efficient for short sequences but also at being able to deal with long sequences. IGLOOs core idea is to use the relationships between non-local patches sliced out of the features maps of successively applied convolutions to build a representation for the sequence. We show that the model can deal with dependencies of more than 20,000 steps in a reasonable time frame. We stress test IGLOO on the copy-memory and addition tasks, as well as permuted MNIST (98.4%). For a larger task we apply this new structure to the Wikitext-2 dataset Merity et al. (2017b) and achieve a perplexity in line with baseline Transformers but lower than baseline AWD-LSTM. We also present how IGLOO is already used today in production for bioinformatics tasks.

研究动机与目标

• 解决神经网络在建模长序列方面面临的挑战，特别是超过 20,000 步的序列。
• 克服 RNN、LSTM、GRU 和 Transformer 在高效处理超长序列方面的局限性。
• 开发一种在短序列上保持高效性的同时，能有效扩展到长序列的模型。
• 实现在需要长上下文理解的实际应用场景中的实用部署，例如生物信息学。

提出的方法

• 从逐次应用卷积后生成的特征图中切片提取非局部区域，以捕捉空间和时间关系。
• 利用这些非局部区域之间的关系，构建序列的全局表征。
• 利用卷积特征提取保留局部模式，同时通过区域间关系实现长距离建模。
• 设计架构以在短序列和长序列上均保持计算高效，避免自注意力机制的二次方复杂度。
• 将特征切片机制集成到前馈或混合架构中，以保持速度和可扩展性。
• 在序列建模基准上端到端训练模型，使用交叉熵损失等标准目标函数。

实验结果

研究问题

• RQ1 基于卷积的架构能否有效建模超过 20,000 步的长序列中的依赖关系？
• RQ2 IGLOO 的特征切片机制在建模长距离依赖方面与注意力机制相比如何？
• RQ3 IGLOO 在扩展到长序列的同时，能在多大程度上保持在短序列上的性能？
• RQ4 IGLOO 是否能在不依赖注意力机制的前提下，在 Wikitext-2 和置换 MNIST 等标准基准上取得具有竞争力的结果？
• RQ5 IGLOO 是否适合实际生产环境使用，特别是在需要长上下文建模的领域（如生物信息学）？

主要发现

• IGLOO 在合理的时间内成功建模了超过 20,000 步的序列，证明其在可扩展性上超越了典型 RNN 和 Transformer 的限制。
• 在置换 MNIST 任务中，IGLOO 达到了 98.4% 的测试准确率，表明其在基于序列的图像识别任务中表现强劲。
• 在 Wikitext-2 基准上，IGLOO 的困惑度与 Transformer 基线相当，证实其具备竞争力的语言建模性能。
• 在 Wikitext-2 上，IGLOO 的困惑度低于 AWD-LSTM 基线，表明其具备更强的建模能力。
• IGLOO 已在生物信息学应用中投入生产环境使用，验证了其实际效用和可扩展性。