[论文解读] Measuring Patent Claim Generation by Span Relevancy

Jieh-Sheng Lee, Jieh Hsiang|arXiv (Cornell University)|Aug 26, 2019

Topic Modeling参考文献 6被引用 5

一句话总结

本文提出了一种新颖的基于跨度的框架，通过跨度相关性定量衡量专利权利要求生成的质量，将权利要求相关性视为自然语言蕴含问题。通过微调 BERT 以分类跨度对的相关性，并利用 GPT-2 生成权利要求，作者证明了随着生成多样性增加，跨度相关性下降，验证了该度量作为 AI 辅助专利创造中“增强发明”的可靠定量指标。

ABSTRACT

Our goal of patent claim generation is to realize "augmented inventing" for inventors by leveraging latest Deep Learning techniques. We envision the possibility of building an "auto-complete" function for inventors to conceive better inventions in the era of artificial intelligence. In order to generate patent claims with good quality, a fundamental question is how to measure it. We tackle the problem from a perspective of claim span relevancy. Patent claim language was rarely explored in the NLP field. It is unique in its own way and contains rich explicit and implicit human annotations. In this work, we propose a span-based approach and a generic framework to measure patent claim generation quantitatively. In order to study the effectiveness of patent claim generation, we define a metric to measure whether two consecutive spans in a generated patent claims are relevant. We treat such relevancy measurement as a span-pair classification problem, following the concept of natural language inference. Technically, the span-pair classifier is implemented by fine-tuning a pre-trained language model. The patent claim generation is implemented by fine-tuning the other pre-trained model. Specifically, we fine-tune a pre-trained Google BERT model to measure the patent claim spans generated by a fine-tuned OpenAI GPT-2 model. In this way, we re-use two of the state-of-the-art pre-trained models in the NLP field. Our result shows the effectiveness of the span-pair classifier after fine-tuning the pre-trained model. It further validates the quantitative metric of span relevancy in patent claim generation. Particularly, we found that the span relevancy ratio measured by BERT becomes lower when the diversity in GPT-2 text generation becomes higher.

研究动机与目标

• 为解决 NLP 领域在评估专利权利要求生成质量方面缺乏定量度量的问题。
• 通过开发一种 AI 辅助的自动补全系统，实现“增强发明”。
• 使用自然语言蕴含原理，将专利权利要求语言建模为跨度对相关性任务。
• 利用预训练语言模型验证一种新的权利要求生成质量度量。
• 分析生成多样性与专利文本中权利要求连贯性之间的关系。

提出的方法

• 将专利权利要求生成评估建模为跨度对分类任务，对连续权利要求跨度之间的相关性进行建模。
• 微调预训练的 BERT 模型，以判断专利权利要求中两个连续跨度在语义上是否相关。
• 使用另一个微调后的 OpenAI GPT-2 模型生成用于评估的权利要求。
• 在从真实专利权利要求中提取的标注跨度对上训练跨度对分类器，以模拟权利要求的连贯性。
• 通过利用最先进的预训练模型（BERT 和 GPT-2）进行迁移学习，同时用于权利要求生成和相关性评分。
• 将跨度相关性比率作为衡量权利要求质量的定量指标，反映生成权利要求之间的连贯性。

实验结果

研究问题

• RQ1 如何通过跨度级别相关性来定量衡量专利权利要求生成质量？
• RQ2 GPT-2 文本生成的多样性增加在多大程度上影响生成的专利权利要求的连贯性？
• RQ3 微调后的 BERT 模型能否有效分类专利权利要求文本中的跨度相关性？
• RQ4 跨度相关性是否可以作为专利生成任务中整体权利要求质量的可靠代理指标？
• RQ5 专利权利要求的结构（包括显式和隐式标注）如何支持基于跨度的评估？

主要发现

• 微调后的 BERT 模型能够有效学习分类专利权利要求中的跨度相关性，证明了所提度量方法的可行性。
• 随着 GPT-2 生成权利要求的多样性增加，跨度相关性比率下降，表明创造力与连贯性之间存在权衡。
• 所提出的跨度对分类框架为评估专利权利要求生成质量提供了可靠且定量的度量方法。
• 专利权利要求语言包含足够的结构和语义线索，可支持使用预训练语言模型进行基于跨度的评估。
• 结果验证了跨度相关性作为评估 AI 生成专利权利要求连贯性和质量的有意义度量的有效性。
• 该框架实现了对专利权利要求生成的客观、自动化评估，支持 AI 辅助发明工具的发展。