[论文解读] Dynamic Compositional Neural Networks over Tree Structure

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|May 11, 2017

Topic Modeling参考文献 20被引用 9

一句话总结

该论文提出了一种基于树结构的动态组合神经网络（DC-TreeNN），通过元网络动态生成树结构神经网络的上下文相关组合函数，克服了固定参数模型的欠拟合问题。该方法在不增加模型参数数量的前提下，在文本分类和语义匹配任务上实现了性能提升，通过动态、任务感知的组合方式增强了模型的表达能力。

ABSTRACT

Tree-structured neural networks have proven to be effective in learning semantic representations by exploiting syntactic information. In spite of their success, most existing models suffer from the underfitting problem: they recursively use the same shared compositional function throughout the whole compositional process and lack expressive power due to inability to capture the richness of compositionality. In this paper, we address this issue by introducing the dynamic compositional neural networks over tree structure (DC-TreeNN), in which the compositional function is dynamically generated by a meta network. The role of meta-network is to capture the metaknowledge across the different compositional rules and formulate them. Experimental results on two typical tasks show the effectiveness of the proposed models.

研究动机与目标

• 解决由于在所有句法组合中使用固定共享的组合函数而导致的树结构神经网络中的欠拟合问题。
• 通过允许组合函数根据上下文、位置和输入变化，实现对语义组合性的更丰富建模。
• 减少对预定义组合规则或基于句法类别划分的依赖，这些方法存在局限性且难以泛化。
• 通过避免参数爆炸，保持模型效率，即使在动态函数生成的情况下亦如此。
• 实现元网络的端到端训练，以生成组合网络的上下文特定参数。

提出的方法

• 引入元网络，根据输入上下文和树结构动态生成组合函数的参数。
• 每个节点独立生成组合函数，允许不同句法或语义上下文使用不同的操作。
• 元网络使用潜在向量 z 控制组合函数，其中 z 由左右子节点表示计算得出。
• 通过低秩矩阵分解实现动态权重矩阵，以降低模型复杂度和参数数量。
• 使用反向传播进行端到端训练，元网络与组合网络均具有可微性。
• 该方法应用于两种架构：Tree-RecNN 和 Tree-LSTM，证明了其在不同树-NN 变体中的泛化能力。

实验结果

研究问题

• RQ1 元网络能否有效生成上下文相关的组合函数，以改善树结构神经网络中的语义表示？
• RQ2 与固定参数模型相比，动态参数生成是否能在自然语言处理任务中带来更好的性能？
• RQ3 该模型能否在无需显式规则定义的情况下，隐式学习复杂的组合模式（如习语短语或句法结构）？
• RQ4 在保持或减少参数数量的同时，该模型在多大程度上减轻了欠拟合问题？
• RQ5 元网络中的潜在表示在多大程度上反映了与组合相关联的语义和句法信息？

主要发现

• DC-TreeNN 在六个基准数据集上的文本分类和语义匹配任务中均达到最先进或具有竞争力的性能。
• 在 IMDB 和 AG 数据集中，当潜在向量大小为 40 时模型表现最优；在 MR、SST 和 SUBJ 数据集中，最佳性能分别对应大小为 30、30 和 20 的潜在向量。
• 定性分析显示，元网络中的特定神经元会激活于有意义的语言模式，如情感词（例如 'in stitches'）或轻动词结构（例如 'taking off'）。
• 模型隐式学习到对习语性搭配和句法结构的检测能力，展现出其捕捉复杂组合性的能力。
• 组合函数的动态特性使模型能够根据上下文自适应调整操作，从而在不增加参数的情况下提升表达能力。
• 元网络成功捕捉了语义和句法偏差，如在代表性句子上的神经元激活模式所示。