[論文レビュー] PatentMatch: A Dataset for Matching Patent Claims & Prior Art.

Julian Risch, Nicolas Alder+2 more|arXiv (Cornell University)|Dec 27, 2020

Biomedical Text Mining and Ontologies参考文献 28被引用数 12

ひとこと要約

PatentMatchは、欧州特許庁（EPO）の検索報告書から抽出された特許出願の特許請求の範囲と、意味的に一致する先行技術の文章をペアリングした大規模で専門家がアノテートしたデータセットである。このデータセットは、特許の先行技術抽出のための教師あり学習を可能にし、初期のBERTベースの実験では中程度の性能（52–54％の正解率）が得られた。これは特許特有の言語における意味的マッチングの難しさを示している。

ABSTRACT

Patent examiners need to solve a complex information retrieval task when they assess the novelty and inventive step of claims made in a patent application. Given a claim, they search for prior art, which comprises all relevant publicly available information. This time-consuming task requires a deep understanding of the respective technical domain and the patent-domain-specific language. For these reasons, we address the computer-assisted search for prior art by creating a training dataset for supervised machine learning called PatentMatch. It contains pairs of claims from patent applications and semantically corresponding text passages of different degrees from cited patent documents. Each pair has been labeled by technically-skilled patent examiners from the European Patent Office. Accordingly, the label indicates the degree of semantic correspondence (matching), i.e., whether the text passage is prejudicial to the novelty of the claimed invention or not. Preliminary experiments using a baseline system show that PatentMatch can indeed be used for training a binary text pair classifier on this challenging information retrieval task. The dataset is available online: https://hpi.de/naumann/s/patentmatch.

研究の動機と目的

• 特許出願の審査において、深く技術的・法的分野の知識を要する先行技術検索の自動化に取り組むこと。
• 特許関連の情報検索における教師あり機械学習モデルの学習を可能にする、高品質で専門家がアノテートしたデータセットを提供すること。
• 特許審査官が新規性を破壊する先行技術を高精度に特定するのを支援するAIシステムの開発を支援すること。
• EPOにおける専門家の検索行動や検索報告書作成プロセスの系統的分析を可能にすること。
• 学習されたモデルを用いて、部分的に自動化された文章抽出の改善や、検索クエリ戦略の最適化を促進すること。

提案手法

• データセットは、各特許請求の範囲に対して関連する先行技術の文章が明示的にアノテートされたEPOの検索報告書から構築された。
• 各データポイントは、特許請求の範囲と、引用された先行技術文書からの文章から構成され、EPOの審査官によって『X』（新規性を破壊する）または『A』（背景技術、新規性や明確さがない）のラベルが付与されている。
• データセットには、実際の特許出願および特許付与済み特許からの請求の範囲と文章が含まれており、訓練用とテスト用のデータセットは出願日によって分離されており、時間的妥当性を保証している。
• ベースラインのBERTベースのテキストペア分類モデルをデータセット上で微調整し、文章が請求の範囲と『X』または『A』文書として一致するかを予測する。
• モデルは、BERT-base-uncasedアーキテクチャの[CLS]トークンの表現を用いて、請求の範囲と文章の意味的対応関係を分類する。
• 実験ではFARMフレームワークが使用され、モデルの汎化性と頑健性を評価するために、バランス型および単一引用データのバリエーションで性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 教師あり機械学習モデルは、特許請求の新規性を破壊する先行技術の文章を効果的に同定できるか？
• RQ2 BERTのような事前学習済みトランスフォーマー・モデルの性能は、特許特有の言語における意味的マッチングという複雑なタスクにどのように一般化されるか？
• RQ3 EPOの検索報告書から得た専門家のアノテート済みデータは、先行技術抽出システムの精度をどの程度向上できるか？
• RQ4 特許請求の範囲と関連する先行技術の文章をマッチングさせる際の主な言語的・構造的課題は何か？ そしてそれらはモデルの性能にどのように影響するか？
• RQ5 学習されたモデルは、特許審査官が使用する手動キーワードクエリの改善や適応に役立つだろうか？ これにより、先行技術検索におけるリコールが向上するか？

主な発見

• PatentMatchデータセットは、EPOの検索報告書を介してリンクされた特許請求の範囲と先行技術の文章を含み、特許の先行技術抽出のための教師あり学習と評価のための大規模で専門家がアノテートしたリソースを提供する。
• 微調整されたBERTモデルを用いた初期実験では、バランス型データ分割においてテストセットで54％の正解率を達成した。これは、このタスクが依然として極めて困難であることを示している。
• 1つの『X』文書と1つの『A』文書を1つの請求の範囲に対して持つ、より制限的なデータ分割においても、モデルは52％の正解率を達成した。これは、データの変動を最小限に抑えた場合の性能向上が限定的であることを示唆している。
• 検証損失はわずか6エポックで飽和し、収束が遅く、特許文書に含まれる複雑な言語的パターンからの学習の難しさを示している。
• ランダムな推測よりも低い正解率は、最先端のモデルですら、特許特有の法的・技術的言語における意味的マッチングの難しさを強く示している。
• このデータセットは、将来的に専門家の検索行動、関連する参照の漏れ、学習されたモデルと手動クエリ戦略の統合に関する研究を促進する。