[论文解读] A Fast Deep Learning Model for Textual Relevance in Biomedical Information Retrieval

Sunil Mohan, Nicolas Fiorini+2 more|arXiv (Cornell University)|Feb 26, 2018

Biomedical Text Mining and Ontologies参考文献 38被引用 9

一句话总结

本文提出Delta模型，一种快速且鲁棒的深度学习方法，用于生物医学文本相关性排序。该方法利用预训练词嵌入计算可变长度的Delta矩阵，以捕捉查询与文档之间的语义差异。通过应用堆叠卷积和前馈网络，该模型在训练数据有限的情况下，于PubMed点击日志数据上实现了最先进水平的排序性能（NDCG@20 = 0.94），适用于实时搜索引擎。

ABSTRACT

Publications in the life sciences are characterized by a large technical vocabulary, with many lexical and semantic variations for expressing the same concept. Towards addressing the problem of relevance in biomedical literature search, we introduce a deep learning model for the relevance of a document's text to a keyword style query. Limited by a relatively small amount of training data, the model uses pre-trained word embeddings. With these, the model first computes a variable-length Delta matrix between the query and document, representing a difference between the two texts, which is then passed through a deep convolution stage followed by a deep feed-forward network to compute a relevance score. This results in a fast model suitable for use in an online search engine. The model is robust and outperforms comparable state-of-the-art deep learning approaches.

研究动机与目标

• 解决低资源、高词汇量的生物医学文本检索问题，其中训练数据有限且词汇量庞大。
• 通过建模超越精确术语匹配的语义差异，改善生物医学文献中短查询、关键词风格查询的相关性排序。
• 开发一种在在线搜索引擎中可部署的准确且高效的模型。
• 通过捕捉词嵌入差异中的语义关系，克服生物医学搜索中常见的查询表述不充分和术语不匹配问题。
• 通过利用预训练词嵌入和基于Delta的特征表示，在小规模训练集（20k个查询）下实现鲁棒性能。

提出的方法

• 通过计算文档词嵌入与最近似查询词嵌入之间的向量差，构建可变长度的Delta矩阵。
• 引入查询与文档之间的三种标量相似性度量，以丰富Delta表示。
• 对Delta矩阵应用一系列窄而深的卷积层，以提取分层特征，随后通过全局平均池化生成固定长度表示。
• 将池化后的Delta特征与查询匹配统计量结合，并通过前馈神经网络预测相关性得分。
• 使用成对排序损失进行模型训练，以优化文档的排序顺序。
• 在完整PubMed语料库上使用word2vec预训练词嵌入，以处理大规模词汇量（20万）且标注数据有限的问题。

实验结果

研究问题

• RQ1 基于预训练词嵌入的深度学习模型是否能在仅有20,000个标注查询的情况下，在生物医学文献检索中实现高相关性排序性能？
• RQ2 通过词嵌入差异的Delta矩阵建模语义差异，是否相比直接使用嵌入能提升鲁棒性和性能？
• RQ3 卷积网络架构是否能在保持低推理延迟的同时实现高性能，从而适用于在线搜索引擎？
• RQ4 Delta模型在多大程度上缓解了生物医学搜索中的查询表述不充分和术语不匹配问题？
• RQ5 在PubMed点击日志数据上，Delta模型与最先进神经网络及词法基线方法（如WMD、SevMos-C3）在排序有效性方面相比如何？

主要发现

• Delta-32-Lex3模型在测试集上取得了NDCG@20 = 0.94的得分，显著优于WMD（0.05）和SevMos-C3（0.05），证明了其卓越的排序有效性。
• 在‘食管癌’的案例研究中，Delta模型将最相关文档（相关性等级11.7）排在第1位，而WMD和SevMos-C3均未能将其排入前10名。
• 对于查询‘慢性头痛和抑郁’，Delta模型将最高相关性文档（‘头痛的心理风险因素’，相关性等级10）排在第5位，优于WMD和SevMos-C3，后者均未将其排入前10名。
• 该模型通过Delta特征表示有效适应了预训练词嵌入，在小规模训练数据（20,000个查询）下表现出鲁棒性。
• 使用堆叠的窄卷积而非单个宽卷积，提供了更强的特征学习能力，从而提升了性能。
• 该模型的推理速度足以支持在线搜索引擎的实时部署，满足了低运行时开销的设计目标。