[论文解读] Self-Adaptive Hierarchical Sentence Model

Han Zhao, Zhengdong Lu+1 more|arXiv (Cornell University)|Apr 20, 2015

Topic Modeling参考文献 31被引用 52

一句话总结

该论文提出AdaSent，一种自适应分层句子模型，通过词段的递归门控组合构建多尺度表征，利用门控网络实现最优表征的动态选择。该模型在五个基准数据集上优于最先进方法，通过学习任务特定的自适应表征，缓解梯度消失问题并提升分类准确率。

ABSTRACT

The ability to accurately model a sentence at varying stages (e.g., word-phrase-sentence) plays a central role in natural language processing. As an effort towards this goal we propose a self-adaptive hierarchical sentence model (AdaSent). AdaSent effectively forms a hierarchy of representations from words to phrases and then to sentences through recursive gated local composition of adjacent segments. We design a competitive mechanism (through gating networks) to allow the representations of the same sentence to be engaged in a particular learning task (e.g., classification), therefore effectively mitigating the gradient vanishing problem persistent in other recursive models. Both qualitative and quantitative analysis shows that AdaSent can automatically form and select the representations suitable for the task at hand during training, yielding superior classification performance over competitor models on 5 benchmark data sets.

研究动机与目标

• 为解决固定长度句子表征在捕捉分层句子结构和任务特定语义方面的局限性。
• 通过实现表征的动态、任务自适应组合，缓解递归神经网络中常见的梯度消失问题。
• 探索多尺度分层表征作为句子建模中平面化、固定长度向量表征的替代方案。
• 基于输入和任务上下文，实现对最相关表征层级（词、短语或句子）的自动选择。
• 通过可学习的门控机制自适应组合分层表征，提升句子分类性能。

提出的方法

• 通过相邻词段的递归门控组合构建分层表征金字塔，形成短语级和句子级表征。
• 采用门控网络计算层次中每一层的置信度分数，实现基于任务的最相关表征的动态选择。
• 使用分层表征的凸组合，门控网络根据输入和任务上下文分配权重。
• 在层次的每一层应用全局池化（平均或最大池化），在门控前生成紧凑表征。
• 使用反向传播端到端训练整个模型，门控网络在优化过程中学习强调信息量丰富的层级。
• 引入置信度分数机制，建模每一层次表征为正确表征的概率，实现类似注意力的选择机制。

实验结果

研究问题

• RQ1 分层句子模型能否基于输入和任务上下文，动态选择最合适的表征层级（词、短语或句子）？
• RQ2 在递归分层结构中使用门控网络是否能相比固定长度表征，在句子分类任务中提升性能？
• RQ3 通过自适应表征选择，该模型在多大程度上能缓解递归神经网络中常见的梯度消失问题？
• RQ4 与cBoW、RNN和GRU基线模型相比，多尺度分层表征在分类准确率和鲁棒性方面表现如何？
• RQ5 该模型能否在无表征选择显式监督的情况下，仅通过端到端训练学习任务特定表征？

主要发现

• AdaSent在五个基准数据集上达到最先进性能：MR数据集上为79.84%，CR数据集上为83.61%，SUBJ数据集上为92.19%，MPQA数据集上为90.42%，TREC数据集上为91.10%，优于所有基线模型，包括cBoW、RNN、BRNN和GrConv。
• 该模型表现出卓越的鲁棒性，10次运行中方差极低（如MR数据集上标准差为1.26%），表明在不同随机初始化下性能稳定。
• 定性分析表明，门控网络即使在高层表征错误时，仍能为最信息量丰富的表征层级分配最高置信度分数，从而实现正确最终预测。
• 通过PCA可视化显示，与cBoW相比，AdaSent学习到更具判别性且类别分离更明显的表征，尤其在SUBJ、MPQA和TREC数据集上表现更优。
• 该模型在无显式约束条件下隐式学习到类别分离，表明分层与自适应设计有助于更好的特征解耦。
• AdaSent将GrConv作为特例，即根节点置信度分数为1.0时，证实其灵活性与更广泛的应用潜力。