[论文解读] Modeling Compositionality with Multiplicative Recurrent Neural Networks

Ozan İrsoy, Claire Cardie|arXiv (Cornell University)|Dec 20, 2014

Topic Modeling参考文献 24被引用 9

一句话总结

本文提出了一种新型的乘法循环神经网络（mRNNs）架构，用于建模自然语言中的组合语义，通过词向量与隐藏状态之间的乘法交互来捕捉复杂的语义关系。该模型在细粒度情感分析任务上优于加法RNN和矩阵空间模型，并且在无需句法解析树的情况下，性能可与结构化递归神经网络相媲美。

ABSTRACT

We present the multiplicative recurrent neural network as a general model for compositional meaning in language, and evaluate it on the task of fine-grained sentiment analysis. We establish a connection to the previously investigated matrix-space models for compositionality, and show they are special cases of the multiplicative recurrent net. Our experiments show that these models perform comparably or better than Elman-type additive recurrent neural networks and outperform matrix-space models on a standard fine-grained sentiment analysis corpus. Furthermore, they yield comparable results to structural deep models on the recently published Stanford Sentiment Treebank without the need for generating parse trees.

研究动机与目标

• 解决加法循环网络在建模语言中复杂语义组合性方面的局限性。
• 通过词向量的乘法交互，将稀疏的独热表示推广为稠密词向量，从而统一矩阵空间模型与循环网络。
• 开发一种参数高效、端到端可训练的模型，以捕捉否定和强化等组合效应，而无需依赖句法解析树。
• 在细粒度情感分析任务上评估该模型，并与加法RNN和结构化递归神经网络进行性能比较。
• 探索乘法交互在自然语言处理序列建模任务中表示能力和泛化能力。

提出的方法

• mRNN 使用当前词向量与隐藏状态之间的乘法交互，替代RNN中标准的加法更新规则。
• 隐藏状态更新定义为 h_t = f(W * (w_t ⊙ h_{t-1}) + b)，其中 ⊙ 表示逐元素乘法，W 为可学习权重矩阵。
• 该模型通过将稠密词向量的每个维度视为作用于语义表示的独立算子，从而推广矩阵空间模型。
• 该架构实现了跨词语的参数共享，提升了泛化能力，并支持半监督学习。
• 模型通过时间反向传播进行端到端训练，对变换后的隐藏状态应用如ReLU或tanh等非线性激活函数。
• 通过将与任务无关的词向量与与任务相关的张量算子解耦，该方法支持迁移学习。

实验结果

研究问题

• RQ1 与加法交互相比，循环网络中的乘法交互是否能更有效地建模否定和强化等组合语义效应？
• RQ2 mRNN在细粒度情感分析任务上相对于加法RNN和矩阵空间模型的表现如何？
• RQ3 mRNN在不使用句法解析树的情况下，能在多大程度上实现与递归神经网络相当的性能？
• RQ4 与矩阵空间模型中的一般独热表示相比，mRNN中使用稠密词向量是否能提升泛化能力和学习效率？
• RQ5 不同的非线性激活函数和正则化策略如何影响mRNN的性能与稳定性？

主要发现

• 在MPQA细粒度情感分析数据集上，mRNN优于加法RNN和矩阵空间模型，测试F1得分为0.5265，而加法RNN为0.5232。
• 在斯坦福情感树库上，mRNN在不使用解析树的情况下，性能与递归神经网络相当，测试准确率接近最佳性能的递归模型。
• 使用预训练词向量的mRNN取得最佳结果，表明有效预训练至关重要，尤其是在标注数据有限的情况下。
• 采用ReLU或tanh非线性激活的mRNN优于恒等激活函数，其中tanh变体相比恒等函数表现出统计上显著的性能提升。
• mRNN的泛化能力优于矩阵空间模型，表现为随机初始化的mRNN在F1得分上优于随机初始化的矩阵空间模型（0.6799 vs. 0.7417）。
• 与加法RNN相比，mRNN表现出更高的模型方差，表明需要更严格的正则化以防止过拟合，尤其是由于乘法交互引入的复杂性增加。