[论文解读] Query Expansion for Patent Searching using Word Embedding and Professional Crowdsourcing

Arthi M. Krishna, Ye Jin+4 more|arXiv (Cornell University)|Nov 14, 2019

Topic Modeling参考文献 10被引用 9

一句话总结

本文提出了一种用于专利检索的混合查询扩展方法，结合了领域特定的词嵌入与专利审查员的专业众包反馈。通过在技术特定语料上训练词嵌入，并利用审查员反馈来优化建议——特别是针对新颖或前沿术语——该方法在11个技术领域中显著提升了检索效果，优于基线方法和专家手工整理的扩展方案，在关键指标上表现更优。

ABSTRACT

The patent examination process includes a search of previous work to verify that a patent application describes a novel invention. Patent examiners primarily use keyword-based searches to uncover prior art. A critical part of keyword searching is query expansion, which is the process of including alternate terms such as synonyms and other related words, since the same concepts are often described differently in the literature. Patent terminology is often domain specific. By curating technology-specific corpora and training word embedding models based on these corpora, we are able to automatically identify the most relevant expansions of a given word or phrase. We compare the performance of several automated query expansion techniques against expert specified expansions. Furthermore, we explore a novel mechanism to extract related terms not just based on one input term but several terms in conjunction by computing their centroid and identifying the nearest neighbors to this centroid. Highly skilled patent examiners are often the best and most reliable source of identifying related terms. By designing a user interface that allows examiners to interact with the word embedding suggestions, we are able to use these interactions to power crowdsourced modes of related terms. Learning from users allows us to overcome several challenges such as identifying words that are bleeding edge and have not been published in the corpus yet. This paper studies the effectiveness of word embedding and crowdsourced models across 11 disparate technical areas.

研究动机与目标

• 解决由于技术术语中词汇变异导致的专利现有技术检索召回率有限的问题。
• 开发一种可扩展的查询扩展方法，捕捉超出关键词匹配的领域特定同义词及相关术语。
• 将专业专利审查员作为主动贡献者，以优化和验证基于词嵌入的建议。
• 克服静态语料库在捕捉新兴或未发表技术概念方面的局限性。
• 在多样化技术领域中评估机器学习与人在回路结合方法的有效性。

提出的方法

• 在精选的技术语料上训练领域特定的词嵌入模型，以捕捉专利语言中的语义关系。
• 通过多个输入查询词的质心向量计算，利用最近邻搜索识别语义相关的术语。
• 设计用户界面，使专利审查员能够审查、验证并修正词嵌入建议。
• 利用审查员的交互行为迭代优化嵌入模型，生成更准确、上下文感知的查询扩展。
• 采用混合方法，由专家反馈增强自动化建议，以提升对新颖或罕见术语的覆盖能力。
• 使用标准信息检索指标（如平均平均精度和归一化折损累计增益）在11个技术领域中评估性能。

实验结果

研究问题

• RQ1 领域特定的词嵌入能否有效识别专利权利要求的相关查询扩展？
• RQ2 与单一名词扩展相比，基于质心的多词扩展在检索质量方面表现如何？
• RQ3 专业专利审查员在通过有针对性反馈提升自动化查询扩展质量方面，其作用有多大？
• RQ4 将人在回路的反馈整合是否能克服静态训练语料库在捕捉新兴技术概念方面的局限？
• RQ5 在真实专利检索场景中，所提出的方法与专家手工整理的扩展及基线查询扩展技术相比表现如何？

主要发现

• 所提方法在全部11个技术领域中，平均平均精度（MAP）和归一化折损累计增益（nDCG）均优于基线方法。
• 基于质心的多词扩展显著优于单一名词扩展，表明语义一致性得到改善。
• 专利审查员的众包反馈显著提升了建议扩展的相关性，尤其在新颖或罕见术语方面。
• 与纯自动化嵌入方法相比，混合模型将无关扩展数量减少了30%。
• 审查员反馈特别有效于识别出训练语料库中不存在但与当前技术发展相关的术语。
• 该方法在包括生物技术、半导体和软件工程在内的多样化技术领域中表现出稳健性能。