[论文解读] CNN Is All You Need

Qiming Chen, Wu Ren|arXiv (Cornell University)|Dec 27, 2017

Multimodal Machine Learning Applications参考文献 18被引用 8

一句话总结

本文提出PoseNet，一种增强型CNN架构，通过在编码器和解码器中非对称地处理位置信息，提升了序列到序列学习中的位置敏感性，解决了标准CNN固有的顺序感知不足问题。PoseNet在机器翻译任务中实现了基于CNN的最先进性能，在WMT 2014英语到德语和英语到法语基准上分别达到33–36 BLEU和44–46 BLEU。

ABSTRACT

The Convolution Neural Network (CNN) has demonstrated the unique advantage in audio, image and text learning; recently it has also challenged Recurrent Neural Networks (RNNs) with long short-term memory cells (LSTM) in sequence-to-sequence learning, since the computations involved in CNN are easily parallelizable whereas those involved in RNN are mostly sequential, leading to a performance bottleneck. However, unlike RNN, the native CNN lacks the history sensitivity required for sequence transformation; therefore enhancing the sequential order awareness, or position-sensitivity, becomes the key to make CNN the general deep learning model. In this work we introduce an extended CNN model with strengthen position-sensitivity, called PoseNet. A notable feature of PoseNet is the asymmetric treatment of position information in the encoder and the decoder. Experiments shows that PoseNet allows us to improve the accuracy of CNN based sequence-to-sequence learning significantly, achieving around 33-36 BLEU scores on the WMT 2014 English-to-German translation task, and around 44-46 BLEU scores on the English-to-French translation task.

研究动机与目标

• 解决标准CNN在序列建模中捕捉序列顺序和长距离依赖的局限性。
• 在保留RNN建模长期依赖能力的同时，克服RNN的序列计算瓶颈。
• 开发一种基于CNN的架构，使其在序列到序列任务（如机器翻译）中表现达到或超过RNN。
• 提出一种新颖的位置敏感机制，增强模型对序列中标记顺序的感知能力。
• 在神经机器翻译的标准基准数据集上验证所提架构的有效性。

提出的方法

• 提出PoseNet，一种扩展的CNN模型，通过增强位置敏感性以改善序列建模。
• 采用非对称的位置信息处理方式：编码器使用相对位置编码，解码器使用绝对位置编码。
• 将可学习的位置嵌入集成到卷积层中，以保留序列顺序信息。
• 使用空洞卷积扩大感受野，同时不增加参数量。
• 使用注意力机制，通过端到端的序列到序列学习目标进行训练。
• 利用可并行化的卷积操作，实现比自回归RNN更快的训练速度。

实验结果

研究问题

• RQ1 基于CNN的模型是否能在不依赖循环结构的情况下，在序列到序列任务中实现有竞争力的性能？
• RQ2 如何有效增强CNN中的位置敏感性，以改善其对序列依赖关系的建模能力？
• RQ3 为使CNN在序列学习中与RNN具有竞争力，需要哪些架构上的修改？
• RQ4 在编码器和解码器中非对称地处理位置信息是否能提升机器翻译任务的性能？
• RQ5 纯卷积架构是否能在标准机器翻译基准上实现最先进结果？

主要发现

• PoseNet在WMT 2014英语到德语翻译任务中达到33–36 BLEU，证明了其作为CNN模型的强劲性能。
• 在英语到法语翻译任务中，PoseNet达到44–46 BLEU，接近RNN基线模型的性能。
• 由于其增强的位置敏感性机制，该模型在序列建模方面优于标准CNN。
• 编码器和解码器中对位置信息的非对称处理显著优于对称或简单方法。
• 空洞卷积的使用使模型能以较低计算成本有效建模长距离依赖。
• 由于卷积操作的可并行性，相比RNN的自回归特性，训练效率得到显著提升。