[论文解读] IGLOO: Slicing the Features Space to Represent Sequences

Vsevolod Sourkov|arXiv (Cornell University)|Jul 9, 2018

Image Processing and 3D Reconstruction被引用 4

一句话总结

IGLOO 引入了一种新颖的神经网络架构，通过分析堆叠的一维卷积特征图中非局部空间切片块之间的关系来表示序列。该方法在长序列（最长达 20,000 步）上实现了具有竞争力的性能，在 Wikitext-2 上达到约 20.5 的困惑度，与 Transformer 模型相当，并在长非编码 RNA 分类任务上实现了 98.46% 的新 SOTA 准确率，同时由于采用稀疏块注意力机制，内存使用量显著降低。

ABSTRACT

Historically, Recurrent neural networks (RNNs) and its variants such as LSTM and GRU and more recently Transformers have been the standard go-to components when processing sequential data with neural networks. One notable issue is the relative difficulty to deal with long sequences (i.e. more than 20,000 steps). We introduce IGLOO, a new neural network architecture which aims at being efficient for short sequences but also at being able to deal with long sequences. IGLOOs core idea is to use the relationships between non-local patches sliced out of the features maps of successively applied convolutions to build a representation for the sequence. We show that the model can deal with dependencies of more than 20,000 steps in a reasonable time frame. We stress test IGLOO on the copy-memory and addition tasks, as well as permuted MNIST (98.4%). For a larger task we apply this new structure to the Wikitext-2 dataset Merity et al. (2017b) and achieve a perplexity in line with baseline Transformers but lower than baseline AWD-LSTM. We also present how IGLOO is already used today in production for bioinformatics tasks.

研究动机与目标

• 为解决在超过 20,000 个时间步的长序列依赖建模挑战，标准 RNN 和 Transformer 在计算和内存方面面临瓶颈。
• 开发一种轻量级、高效的 Transformer 替代方案，降低 O(L²) 复杂度，同时保持长距离依赖建模能力。
• 实现在资源受限领域（如生物信息学）中序列模型的实际部署，其中序列长度可超过 3,000 个核苷酸。
• 探索一种基于特征图中非局部块相关性的新型归纳偏置，与自注意力或循环机制不同。
• 证明稀疏且结构化的块间关系可在标准基准和真实任务中实现具有竞争力的性能。

提出的方法

• IGLOO-base 使用因果一维卷积从输入序列中提取特征图，随后通过可学习或随机采样策略从时间维中收集 p 个非局部块。
• 每个块是特征图中连续的 p 个时间步，J 个此类块并行处理，形成大小为 J × K 的紧凑表示，其中 K 为卷积滤波器数量。
• 块选择受以当前时间步为中心的高斯分布引导，可调节方差，实现对局部和非局部上下文的关注。
• IGLOO-seq 用 IGLOO-base 块替代 Transformer 中的自注意力机制，保持相同架构，但通过稀疏块交互降低计算复杂度。
• 该方法采用两层一维卷积层堆叠，卷积核大小为 3，使用因果填充，随后进行块收集和全局平均池化，以生成序列级别的表示。
• 该方法通过限制块数量 J 实现内存效率，使得 J 与序列长度 L 呈次二次方增长，不同于 Transformer 中的 O(L²) 注意力机制。

实验结果

研究问题

• RQ1 基于特征图中非局部区域之间块相关性的机制，能否有效建模序列中的长距离依赖？
• RQ2 在类似 Transformer 的架构中，用 IGLOO-base 替代自注意力机制，是否能在降低内存和计算成本的同时保持具有竞争力的性能？
• RQ3 IGLOO 能否扩展到真实世界的长序列任务（如 RNA 序列分类），其中序列长度超过 3,000 个标记？
• RQ4 块数量 J 对长序列建模中的模型性能和内存效率有何影响？
• RQ5 在每个时间步随机采样块位置的情况下，IGLOO 对随机块采样是否具有鲁棒性？

主要发现

• IGLOO-seq 在 Wikitext-2 上达到 20.5 的测试困惑度，性能与标准 Transformer 相当，但内存使用更少。
• 在不同块数量（J=50 和 J=100）下，模型性能保持一致，困惑度波动仅为 0.5，表明对超参数选择具有鲁棒性。
• 在 FEELnc 数据集上，IGLOO-base 在长非编码 RNA 编码潜力分类任务中达到 98.46% 的 SOTA 准确率，优于先前的 RNN 和 Transformer 基线模型。
• 该模型成功捕捉了长达 20,000 个时间步的依赖关系，证明其在典型 RNN 和 Transformer 限制之外的可扩展性。
• 在长度为 3,000 的 RNA 序列上使用 J=600 个块时，IGLOO-base 实现了高性能，且 J << L，证明在真实生物信息学应用中具有显著的效率优势。
• 尽管采用随机块选择，模型在不同随机采样下的预测方差较低，表明优化稳定且泛化能力强。