[论文解读] Deep Patent Landscaping Model Using Transformer and Graph Embedding

Seokkyu Choi, Hyeonju Lee+2 more|arXiv (Cornell University)|Mar 14, 2019

Intellectual Property and Patents参考文献 27被引用 12

一句话总结

本文提出了一种用于自动化专利布局的深度学习模型，结合了改进的Transformer进行文本分析和Diff2Vec图嵌入技术处理书目元数据。该模型在新提出的四个基准数据集上实现了最先进性能，相较于现有方法平均分类准确率提升了约15%。

ABSTRACT

Patent landscaping is a method used for searching related patents during a research and development (R&D) project. To avoid the risk of patent infringement and to follow current trends in technology, patent landscaping is a crucial task required during the early stages of an R&D project. As the process of patent landscaping requires advanced resources and can be tedious, the demand for automated patent landscaping has been gradually increasing. However, a shortage of well-defined benchmark datasets and comparable models makes it difficult to find related research studies. In this paper, we propose an automated patent landscaping model based on deep learning. To analyze the text of patents, the proposed model uses a modified transformer structure. To analyze the metadata of patents, we propose a graph embedding method that uses a diffusion graph called Diff2Vec. Furthermore, we introduce four benchmark datasets for comparing related research studies in patent landscaping. The datasets are produced by querying Google BigQuery, based on a search formula from a Korean patent attorney. The obtained results indicate that the proposed model and datasets can attain state-of-the-art performance, as compared with current patent landscaping models.

研究动机与目标

• 自动化研发项目中重复性高且成本昂贵的手动专利布局流程。
• 解决专利布局研究中缺乏公开可用、定义明确的基准数据集的问题。
• 开发一种统一的深度学习模型，有效整合文本与书目专利特征。
• 通过先进的自然语言处理与图表示学习技术，提升识别相关专利的分类准确率。
• 通过支持高效、可扩展且准确的新发布相关专利检索，实现持续的专利监控。

提出的方法

• 采用改进的Transformer架构对专利文本（包括标题、摘要和权利要求）进行编码与分类。
• 应用基于扩散的图嵌入方法Diff2Vec，将书目元数据（如受让人、引用文献、IPC分类）建模为图结构。
• 将来自Transformer与Diff2Vec两部分的表征进行融合，实现端到端的专利相关性分类。
• 利用Google BigQuery和韩国知识产权战略院（KISTA）专家整理的搜索公式构建了四个基准数据集。
• 数据集源自真实世界的专利趋势报告，包含种子专利及其相关引用，确保高质量的训练与评估数据。
• 采用监督方式训练模型，使用二元相关性标签进行训练，性能通过标准分类指标进行评估。

实验结果

研究问题

• RQ1 结合基于Transformer的文本编码与图嵌入的深度学习模型，是否能在专利布局任务中超越现有方法？
• RQ2 所提出的基准数据集在多大程度上提升了专利布局研究的可复现性与可比性？
• RQ3 文本特征与书目特征的融合在跨不同技术领域识别相关专利方面效果如何？
• RQ4 鉴于基准数据集的多样性，该模型是否能在极少微调的情况下泛化至不同技术领域？
• RQ5 与基线模型相比，所提模型在分类准确率与鲁棒性方面带来了多大性能提升？

主要发现

• 所提模型在所有四个基准数据集上均实现了最先进性能，显著优于现有分类模型。
• 与基线模型相比，所有数据集上的平均分类准确率提升了约15%。
• 通过引入Diff2Vec进行基于图的元数据建模，增强了模型捕捉专利之间复杂关系的能力，超越了关键词匹配的局限。
• 利用KISTA专利趋势报告中的专家整理搜索公式，确保了基准数据集具备高质量、领域相关的训练数据。
• 基准数据集公开可用，旨在支持自动化专利布局研究的可复现性。
• 该模型在包括海洋航行器、感应加热、气象监测和卫星成像在内的多样化技术领域中表现出强大的泛化能力。