[论文解读] A Survey on Sentence Embedding Models Performance for Patent Analysis

Hamid Bekamiri, Daniel S. Hain+1 more|arXiv (Cornell University)|Apr 28, 2022

Intellectual Property and Patents被引用 5

一句话总结

本综述评估了用于专利分析的句子嵌入模型，提出了一套基于PatentSBERTa和专用数据集的标准化基准，以衡量技术相似性。研究发现，PatentSBERTa、Bert-for-patents以及TF-IDF加权词嵌入在子类级别专利分类中表现最佳，为研究人员根据专利部分的具体性选择模型提供了指导。

ABSTRACT

Patent data is an important source of knowledge for innovation research, while the technological similarity between pairs of patents is a key enabling indicator for patent analysis. Recently researchers have been using patent vector space models based on different NLP embeddings models to calculate the technological similarity between pairs of patents to help better understand innovations, patent landscaping, technology mapping, and patent quality evaluation. More often than not, Text Embedding is a vital precursor to patent analysis tasks. A pertinent question then arises: How should we measure and evaluate the accuracy of these embeddings? To the best of our knowledge, there is no comprehensive survey that builds a clear delineation of embedding models' performance for calculating patent similarity indicators. Therefore, in this study, we provide an overview of the accuracy of these algorithms based on patent classification performance and propose a standard library and dataset for assessing the accuracy of embeddings models based on PatentSBERTa approach. In a detailed discussion, we report the performance of the top 3 algorithms at section, class, and subclass levels. The results based on the first claim of patents show that PatentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings have the best accuracy for computing sentence embeddings at the subclass level. According to the first results, the performance of the models in different classes varies, which shows researchers in patent analysis can utilize the results of this study to choose the best proper model based on the specific section of patent data they used.

研究动机与目标

• 为解决专利相似性任务中句子嵌入模型缺乏全面评估标准的问题。
• 提供一个标准化的库和数据集，用于评估专利分类中嵌入模型的准确性。
• 比较不同专利分类级别（部分、类别、子类）下顶级嵌入模型的性能。
• 根据研究人员分析的专利数据粒度，指导其选择最优模型。
• 为未来专利嵌入评估研究建立可复现的基准。

提出的方法

• 本研究使用精选的专利权利要求首段数据集，评估了多种句子嵌入模型。
• 采用微调后的PatentSBERTa版本作为对比基线。
• 通过在部分、类别和子类级别上的多分类准确率来衡量性能。
• 评估框架包含一个用于模型比较和可复现性的标准化库。
• 比较分析中包含了TF-IDF加权词嵌入和基于BERT的模型。
• 研究采用零样本评估协议，以评估模型在不同专利部分之间的泛化能力。

实验结果

研究问题

• RQ1 哪些句子嵌入模型在子类级别专利分类中达到最高准确率？
• RQ2 模型性能在不同专利分类级别（部分、类别、子类）上如何变化？
• RQ3 领域特定模型（如PatentSBERTa）与通用模型的相对性能如何？
• RQ4 标准化基准能否提升专利分析中的可复现性和模型选择？
• RQ5 TF-IDF加权词嵌入与深度学习嵌入在专利相似性任务中的表现如何比较？

主要发现

• PatentSBERTa在子类级别专利分类中达到最高准确率。
• Bert-for-patents表现强劲，子类级别分类中排名第二。
• TF-IDF加权词嵌入表现具有竞争力，子类级别准确率排名第三。
• 模型性能在不同专利部分间存在显著差异，表明模型适用性具有上下文依赖性。
• 本研究建立了一个标准化评估库和数据集，为未来专利嵌入研究的基准测试提供支持。
• 结果表明，针对特定领域的微调可提升模型在专利特定相似性任务中的表现。