[論文レビュー] A Survey on Sentence Embedding Models Performance for Patent Analysis

Hamid Bekamiri, Daniel S. Hain+1 more|arXiv (Cornell University)|Apr 28, 2022

Intellectual Property and Patents被引用数 5

ひとこと要約

本調査は特許分析における文埋め込みモデルの評価を行い、特許SBERTaと特化したデータセットを用いた標準化されたベンチマークを提案する。特許の亜種レベルでの類似性測定において、特許SBERTa、Bert-for-patents、およびTF-IDF重み付き単語埋め込みが最高の正確性を示し、特許分野の特異性に基づくモデル選定のガイドラインを研究者に提供する。

ABSTRACT

Patent data is an important source of knowledge for innovation research, while the technological similarity between pairs of patents is a key enabling indicator for patent analysis. Recently researchers have been using patent vector space models based on different NLP embeddings models to calculate the technological similarity between pairs of patents to help better understand innovations, patent landscaping, technology mapping, and patent quality evaluation. More often than not, Text Embedding is a vital precursor to patent analysis tasks. A pertinent question then arises: How should we measure and evaluate the accuracy of these embeddings? To the best of our knowledge, there is no comprehensive survey that builds a clear delineation of embedding models' performance for calculating patent similarity indicators. Therefore, in this study, we provide an overview of the accuracy of these algorithms based on patent classification performance and propose a standard library and dataset for assessing the accuracy of embeddings models based on PatentSBERTa approach. In a detailed discussion, we report the performance of the top 3 algorithms at section, class, and subclass levels. The results based on the first claim of patents show that PatentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings have the best accuracy for computing sentence embeddings at the subclass level. According to the first results, the performance of the models in different classes varies, which shows researchers in patent analysis can utilize the results of this study to choose the best proper model based on the specific section of patent data they used.

研究の動機と目的

• 特許類似度タスクにおける文埋め込みモデルの包括的な評価基準の欠如に対処すること。
• 特許分類における埋め込みモデルの正確性を評価するための標準化されたライブラリおよびデータセットを提供すること。
• 特許分類レベル（分野、分類、亜種）ごとの上位埋め込みモデルのパフォーマンスを比較すること。
• 研究者が分析対象の特許データの粒度に応じて最適なモデルを選定できるようにすること。
• 今後の特許埋め込み評価研究の再現可能性を確保するための再現可能なベンチマークを確立すること。

提案手法

• 本研究は、特許の最初の特許請求の範囲を対象としたキュレート済みデータセットを用いて、多数の文埋め込みモデルを評価する。
• 比較のベースラインとして、微調整を施した特許SBERTaのバージョンを採用する。
• パフォーマンスは、分野、分類、亜種レベルにおける多値分類の正確度で測定される。
• 評価フレームワークには、モデル比較および再現性を確保するための標準化されたライブラリが含まれる。
• TF-IDF重み付き単語埋め込みとBERTベースのモデルが、比較分析に含まれる。
• 本研究では、特許分野間での一般化性能を評価するためのゼロショット評価プロトコルを用いる。

実験結果

リサーチクエスチョン

• RQ1 どの文埋め込みモデルが亜種レベルでの特許分類において最も高い正確性を達成するか？
• RQ2 モデルのパフォーマンスは、特許分類レベル（分野、分類、亜種）ごとにどのように変化するか？
• RQ3 特許特化型モデル（例：特許SBERTa）と汎用モデルの相対的なパフォーマンスはどのようになるか？
• RQ4 標準化されたベンチマークは、再現性とモデル選定の質を向上させることができるか？
• RQ5 TF-IDF重み付き単語埋め込みは、深層学習ベースの埋め込みと比較して、特許類似度タスクでどのように性能を発揮するか？

主な発見

• 特許SBERTaは、亜種レベルでの特許分類において最高の正確性を達成した。
• Bert-for-patentsは強く性能を発揮し、亜種レベル分類で2番目に高い正確性を示した。
• TF-IDF重み付き単語埋め込みは競争力のある結果を示し、亜種レベルの正確性で3番目に高い順位を記録した。
• モデルのパフォーマンスは特許分野によって顕著に異なるため、文脈依存的なモデル適合性が示された。
• 本研究では、今後の特許埋め込み研究のための標準化された評価ライブラリおよびデータセットを確立した。
• 研究結果は、特許固有のタスクにおける類似度評価において、分野特化型の微調整がパフォーマンスを向上させることを裏付けた。