[论文解读] Stochastic Learning of Nonstationary Kernels for Natural Language Modeling

Sahil Garg, Greg Ver Steeg+1 more|arXiv (Cornell University)|Jan 11, 2018

Topic Modeling被引用 4

一句话总结

该论文提出了一种用于自然语言建模的非平稳核学习框架，通过引入与任务相关的可学习参数，增强卷积核的表达能力，以忽略不相关的子结构。通过在具有局部敏感哈希（LSH）的k近邻图上进行随机采样，该方法在保持计算可扩展性的同时，在生物医学文本挖掘的结构化预测任务中实现了最先进水平的准确率，即使在使用哈希近似的情况下，也优于标准路径核和神经网络基线方法。

ABSTRACT

Natural language processing often involves computations with semantic or syntactic graphs to facilitate sophisticated reasoning based on structural relationships. While convolution kernels provide a powerful tool for comparing graph structure based on node (word) level relationships, they are difficult to customize and can be computationally expensive. We propose a generalization of convolution kernels, with a nonstationary model, for better expressibility of natural languages in supervised settings. For a scalable learning of the parameters introduced with our model, we propose a novel algorithm that leverages stochastic sampling on k-nearest neighbor graphs, along with approximations based on locality-sensitive hashing. We demonstrate the advantages of our approach on a challenging real-world (structured inference) problem of automatically extracting biological models from the text of scientific papers.

研究动机与目标

• 解决传统卷积核在建模复杂自然语言结构时的僵化性问题。
• 实现核相似度函数的灵活、任务特定的参数化，以提升NLP任务中的表达能力。
• 开发一种可扩展的学习算法，降低大规模核方法的计算成本。
• 提升在生物医学文本中结构化预测任务的性能，例如从科学论文中提取分子相互作用。
• 通过学习到的核参数识别并抑制无关子结构，确保模型的可解释性。

提出的方法

• 通过引入基于数据驱动的可学习参数，对卷积核进行非平稳扩展，根据任务相关性对子结构进行加权。
• 在k近邻（k-NN）图上采用随机采样算法来近似Gram矩阵，将复杂度从O(N²)降低至O(N¹.⁵)。
• 使用基于核的局部敏感哈希（LSH）高效构建近似k-NN图，实现可扩展的相似性计算。
• 在k-NN图结构上定义损失函数以指导参数学习，聚焦于局部邻域关系。
• 将该方法应用于从自然语言中提取的语义图中的路径核，特别适用于生物医学文本中的结构化预测。
• 采用基于阈值的剪枝机制（通过β实现），选择具有信息量的诱导点和邻居，以减少噪声和计算负载。

实验结果

研究问题

• RQ1 与固定、平稳的核相比，非平稳核模型是否能提升卷积核在自然语言任务中的表达能力？
• RQ2 如何高效学习核参数，以反映语义图中子结构的任务特定相关性？
• RQ3 在核学习中，使用LSH对k-NN图进行随机采样在多大程度上能保持性能的同时降低计算成本？
• RQ4 所提出的方法是否能在生物医学文本挖掘的结构化预测任务中实现最先进水平的准确率？
• RQ5 所学习的参数是否具有高度可解释性？能否识别语义图中无关的子结构？

主要发现

• 非平稳路径核（NPK）在生物医学文本的结构化预测任务中优于标准路径核和LSTM、卷积-LSTM等神经网络基线模型。
• 即使存在哈希近似，NPK-kNN-H模型的准确率仍与全精度PK-kNN模型相当，表明对近似具有鲁棒性。
• 在联合数据上进行训练时，该模型在PubMed45和BioNLP数据集上实现了显著的准确率提升，优于标准核模型。
• 单次迭代且β = 550的训练结果优于10次迭代且β = 25的结果，表明参数选择（β）比迭代次数的微调更为关键。
• 纯随机采样基线表现较差，证实了所提出的基于k-NN的随机采样策略的必要性。
• 所学习的参数具有高度可解释性：零值参数可识别出在核计算中被忽略的特定语义标签和子结构，从而增强模型的透明度。