[论文解读] Comparative Study of CNN and RNN for Natural Language Processing

Wenpeng Yin, Katharina Kann+2 more|arXiv (Cornell University)|Feb 7, 2017

Topic Modeling参考文献 20被引用 894

一句话总结

本论文系统地比较了 CNN、GRU、LSTM 在各种 NLP 任务中的表现，显示 RNN 在序列理解方面通常表现出色，而 CNN 在某些局部关键词任务上可能优于它们；超参数如隐藏层大小和批量大小对性能影响很大。

ABSTRACT

Deep neural networks (DNN) have revolutionized the field of natural language processing (NLP). Convolutional neural network (CNN) and recurrent neural network (RNN), the two main types of DNN architectures, are widely explored to handle various NLP tasks. CNN is supposed to be good at extracting position-invariant features and RNN at modeling units in sequence. The state of the art on many NLP tasks often switches due to the battle between CNNs and RNNs. This work is the first systematic comparison of CNN and RNN on a wide range of representative NLP tasks, aiming to give basic guidance for DNN selection.

研究动机与目标

• 在广泛的 NLP 任务中评估 CNN、GRU 和 LSTM 的相对优势。
• 研究 CNN 与 RNN 在文本中对局部与全局语义信息的捕获能力孰优。
• 基于任务特征为 NLP 中的 DNN 选择提供指南。

提出的方法

• 在一个基本的、从零开始的设置中实现 CNN、GRU 和 LSTM（不使用预训练嵌入）。
• 在开发数据上针对每个任务和模型调优超参数，以确保公平比较。
• 在包括情感分类、关系分类、文本蕴含、答案选择、问题-关系匹配、路径查询回答和 POS 标注等任务上进行评估。
• 对 GRU/LSTM 使用单向自左向右的编码，对 POS 标注评估双向 RNN。
• 对于 CNN，使用一个对词嵌入的卷积层并进行最大池化以产生固定大小的表示。

实验结果

研究问题

• RQ1 CNN 和 RNN 是否为文本分类任务提供互补信息？
• RQ2 对整体序列语义理解重要性的影响如何影响 CNN 与 RNN 的表现？
• RQ3 CNN 与 RNN 的性 能对学习率、隐藏层大小和批量大小等超参数有多敏感？
• RQ4 在不同 NLP 任务中，哪种架构更擅长处理长程依赖 vs. 局部关键短语提示？

主要发现

• CNN 和 RNN 为文本分类任务提供互补信息。
• 性能取决于任务是否需要全局序列理解。
• RNN 的性能在多数任务上通常健壮且具竞争力，除了一些依赖关键短语的设置，在这些情形下 CNN 可能表现出色。
• 学习率的变化对性能有较为平滑的影响，而隐藏大小和批量大小会导致更大波动。
• 双向 RNN 可以提升 POS 标注相对于单向变体。