[論文レビュー] The Harvard USPTO Patent Dataset: A Large-Scale, Well-Structured, and Multi-Purpose Corpus of Patent Applications

Mirac Süzgün, Luke Melas-Kyriazi+3 more|arXiv (Cornell University)|Jul 8, 2022

Intellectual Property and Patents被引用数 14

ひとこと要約

ハーバードUSPTO特許出願データセット（HUPD）は、2004年から2018年までの間に出願された450万件を超える英語特許出願の、大規模かつ構造化されたコーパスであり、承認済み特許ではなく発明者によって提出された出願版を含む。このデータセットは、特許承認意思決定の二値分類、多クラス分野分類、言語モデル作成、要約生成といった、自然言語処理（NLP）の新規タスクを可能にし、豊富な構造化メタデータとファインチューニングされたトランスフォーマーモデルを活用して、時間経過に伴う概念的シフトや意味的進化を分析する。

ABSTRACT

Innovation is a major driver of economic and social development, and information about many kinds of innovation is embedded in semi-structured data from patents and patent applications. Although the impact and novelty of innovations expressed in patent data are difficult to measure through traditional means, ML offers a promising set of techniques for evaluating novelty, summarizing contributions, and embedding semantics. In this paper, we introduce the Harvard USPTO Patent Dataset (HUPD), a large-scale, well-structured, and multi-purpose corpus of English-language patent applications filed to the United States Patent and Trademark Office (USPTO) between 2004 and 2018. With more than 4.5 million patent documents, HUPD is two to three times larger than comparable corpora. Unlike previously proposed patent datasets in NLP, HUPD contains the inventor-submitted versions of patent applications--not the final versions of granted patents--thereby allowing us to study patentability at the time of filing using NLP methods for the first time. It is also novel in its inclusion of rich structured metadata alongside the text of patent filings: By providing each application's metadata along with all of its text fields, the dataset enables researchers to perform new sets of NLP tasks that leverage variation in structured covariates. As a case study on the types of research HUPD makes possible, we introduce a new task to the NLP community--namely, binary classification of patent decisions. We additionally show the structured metadata provided in the dataset enables us to conduct explicit studies of concept shifts for this task. Finally, we demonstrate how HUPD can be used for three additional tasks: multi-class classification of patent subject areas, language modeling, and summarization.

研究の動機と目的

• NLP分野における大規模かつ構造化された多目的特許コーパスの不足を解消するため、特許出願の全ライフサイクルをカバーする公開データセットの作成。
• 発明者によって提出された出願段階の特許出願（pre-grantバージョン）へのアクセスを提供することで、新たなNLP研究を可能にする。
• 34の構造化メタデータ項目（例：出願日、審査官、IPCコード）を全文コンテンツと統合することで、多タスクNLP研究を支援する。
• ファインチューニングされたトランスフォーマーモデルを用いて、特許言語および技術分野における概念的シフトと時間的進化を分析する。
• 独立発明者や中小企業が、このデータセットを基盤に開発されたNLPツールによって、特許出願の質を向上させられるように支援する。

提案手法

• データセットは、元のUSPTO公開データから構築され、1件の特許出願あたり34のフィールド（タイトル、要約、特許請求の範囲、明細書、出願日、審査官、IPC分類コードなど）を抽出・構造化した。
• テキストフィールドは一貫性を確保するため事前処理と正規化が施され、すべてのデータは2004年から2018年までの実用特許出願の出願段階版から抽出された。
• 下流のNLPタスク向けに文脈的埋め込みを生成するために、ファインチューニングされたトランスフォーマーモデル（例：DistilRoBERTa、T5-Small）が訓練された。
• 次元削減技術（PCAおよびUMAP）を埋め込みベクトルに適用し、技術分野ごとの特許言語における意味的クラスタリングと時間的シフトを可視化した。
• 出願時における特許承認の可能性を予測する新しい二値分類タスクを導入し、テキストとメタデータの両方を入力特徴として使用した。
• このデータセットは、IPCコードを用いた多クラス分類、言語モデル作成、要約生成（要約抽出型）を可能にし、HUPDでファインチューニングされたモデルが利用可能である。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルは、出願時における出願段階のテキストとメタデータのみに基づいて、特許出願が承認されるかどうかを正確に予測できるか？
• RQ2 特許言語の意味的表現は時間経過とともにどのように変化するのか？埋め込み空間内に検出可能な概念的シフトの証拠はあるか？
• RQ3 構造化メタデータ（例：審査官、IPCコード）を組み込むことで、特許分類や出願担当者予測などのNLPタスクの性能はどの程度向上するか？
• RQ4 ファインチューニングされたトランスフォーマーモデルは、異なる技術分野における特許出願の意味的多様性を効果的に捉え、表現できるか？
• RQ5 豊富なメタデータと全文データの統合により、特許出願の質とアクセシビリティを向上させる新しいNLPアプリケーションはどのように実現できるか？

主な発見

• HUPDには、2004年から2018年までの間の450万件を超える英語特許出願が含まれており、従来のNLP特許データセットと比較して2〜3倍の規模である。
• 1件の出願あたり34の構造化データ項目を含んでおり、テキスト以外の分析（例：時間的変動、審査官別分析）を可能にする。
• ファインチューニングされたトランスフォーマーモデル（例：DistilRoBERTa、T5-Small）は、埋め込み空間において意味的に類似したIPC分類が密にクラスタリングされることを示した。
• UMAPを用いた可視化により、G06Q（データ処理システム）分野の意味的表現が時間経過とともにH04LおよびH04W（通信システム）に近づいており、技術的統合に伴う共変量シフトの兆候が確認された。
• テキストとメタデータの特徴を統合することで、出願時における特許承認予測という新規な二値分類タスクが可能となり、性能向上が達成された。
• 出願段階のバージョンを含めることで、出願時における特許性やイノベーションの質を、承認後の改訂によるバイアスを避けて研究できるようになった。