[论文解读] Deep Learning applied to NLP

Marc Moreno López, Jugal Kalita|arXiv (Cornell University)|Mar 9, 2017

Topic Modeling参考文献 13被引用 128

一句话总结

对卷积神经网络（CNNs）及其变体的综述，以及它们如何被应用于从情感分析到机器翻译和问答等广泛的NLP任务。它还介绍了相关的深度架构（RNNs、LSTMs、DCNNs、DSCNN 等）及其在NLP中的应用。

ABSTRACT

Convolutional Neural Network (CNNs) are typically associated with Computer Vision. CNNs are responsible for major breakthroughs in Image Classification and are the core of most Computer Vision systems today. More recently CNNs have been applied to problems in Natural Language Processing and gotten some interesting results. In this paper, we will try to explain the basics of CNNs, its different variations and how they have been applied to NLP.

研究动机与目标

• 解释卷积神经网络（CNNs）的基础及其在NLP中的变体和适应
• 综述CNNs及相关深度架构在多样化NLP任务中的应用
• 讨论在NLP情境中的数据表示（词嵌入、one-hot）与架构组件（滤波器、池化、动态池化）
• 强调在NLP中基于CNN的模型的性能与可解释性的关键发现

提出的方法

• 介绍CNN的基础并与传统神经网络进行对比
• 描述NLP的输入表示（把句子视为词嵌入矩阵或one-hot向量）
• 解释NLP场景中的卷积与池化操作，包括最大池化和动态k-最大池化
• 综述多种面向NLP的CNN架构（DCNN、DSCNN、多列CNN、上下文相关CNN、RCNN变体等）
• 给出任务类别及在语义理解、信息提取、摘要、翻译与问答等方面的代表性模型
• 讨论CNN在NLP模型中的可解释性与效率考量

实验结果

研究问题

• RQ1 哪些CNN架构及变体在NLP任务中最有效？
• RQ2 池化、滤波器大小与输入表示如何影响NLP性能？
• RQ3 在不同NLP任务（如情感、事件抽取、QA、翻译）中基于CNN的方法的优点与局限？
• RQ4 将CNN与RNN/LSTM相结合的混合架构相比纯CNN或纯RNN方法的表现如何？

主要发现

• 在精心设计和正则化的情况下，CNN可以在相对较小的数据集上得到有效训练。
• 最大池化和多尺度/动态池化能够为可变长度文本提供固定大小的表示，并捕捉显著特征。
• 一系列架构（DCNN、DSCNN、RCNN、多列CNN、上下文相关CNN）在事件抽取、关系分类和问答等任务上取得了优异结果。
• 基于CNN的模型在多项NLP任务中可以优于传统的基于特征或线性模型，并可以与其他组件（如门控、排名、对齐）集成以提升性能。
• 某些工作在基准数据集上展示了当时的状态最先进或具有竞争力的结果，体现了CNN在NLP领域超越传统图像应用的多样性。
• 通过分析n-gram及文本输入对预测的影响，CNN提供了可解释性方面的优势。