[论文解读] Test Collections for Patent-to-Patent Retrieval and Patent Map Generation in NTCIR-4 Workshop

Atsushi Fujii, Makoto Iwayama+1 more|ArXiv.org|Apr 10, 2004

Advancements in Photolithography Techniques参考文献 3被引用 8

一句话总结

本论文介绍了在 NTCIR-4 研讨会中用于专利至专利检索及专利图生成的测试集，聚焦于无效性检索与半自动专利映射。论文提出了基于段落的评估方法，引入组合相关性概念，即多个段落可联合证明文档的相关性，并提供了一个公开可用的数据集，支持长文档、关联性信息检索研究，具备跨语言与结构化数据支持能力。

ABSTRACT

This paper describes the Patent Retrieval Task in the Fourth NTCIR Workshop, and the test collections produced in this task. We perform the invalidity search task, in which each participant group searches a patent collection for the patents that can invalidate the demand in an existing claim. We also perform the automatic patent map generation task, in which the patents associated with a specific topic are organized in a multi-dimensional matrix.

研究动机与目标

• 为在无效性检索背景下评估专利检索系统，开发标准化的测试集。
• 探索自动专利图生成作为组织相关专利的多维矩阵的可行性研究。
• 支持长篇、半结构化文档及专利信息检索中段落级相关性的研究。
• 通过多语言权利要求书与摘要，实现跨语言检索评估。
• 提出并评估一种新型基于段落的相关性模型，该模型考虑了多个段落的组合相关性。

提出的方法

• 构建了一个 40GB、包含 170 万份未审查日本专利申请（1993–1997 年）的语料库，其中段落被标记为段落单元。
• 从被驳回的日本专利中生成了 103 个检索主题，每个主题包含权利要求组成部分、申请日期以及多语言权利要求（日文、英文、中文）。
• 收集了 JIPA 专家对文档及段落组成部分的相关性判断，其中包含对权利要求要素的组件级相关性评估。
• 提出了一种基于在找到足够相关性依据前所检索段落数量的新评估指标，支持组合相关性评估。
• 提供英文摘要（PAJ）与日文摘要（JAPIO），用于跨语言信息检索的训练与评估。
• 以 NTCIR-3 的专利语料库为基础，用于专利图生成，选取了六个每个包含超过 100 份相关文档的主题。

实验结果

研究问题

• RQ1 检索系统在利用段落级证据识别可无效某项专利权利要求的现有技术方面，效果如何？
• RQ2 不同来源——引用文献、人工专家检索与系统聚合——在独立发现相关现有技术方面，贡献程度如何？
• RQ3 在专利检索评估中，段落组（组合相关性）能否被视为与单个相关段落具有同等有效性？
• RQ4 基于多维组织方式，从主题特定文档集中实现半自动专利图生成的可行性如何？
• RQ5 多语言权利要求书与摘要对跨语言专利检索性能有何影响？

主要发现

• 通过引用（C）与人工专家检索（J）检索到的相关文档数量几乎相当，分别为 159 篇与 185 篇。
• 系统聚合（S）检索到的相关文档数量与引用与人工检索的并集（C ∪ J）相当，表明系统具有高度多样性与有效性。
• 评估框架成功捕捉了组合相关性，即段落组被视作与单个段落具有同等有效的相关性依据。
• 基于段落的评估优于仅基于文档的评估，因其能综合考虑文档内多个片段的累积证据。
• 该测试集（包含多语言权利要求与结构化元数据）在跨语言检索与长文档信息检索研究中表现有效。
• 尽管专利图生成任务未进行量化评估，但其成功展示了基于问题-解决方案维度，将主题特定专利组织为二维矩阵的可行性。