[論文レビュー] PatentSBERTa: A Deep NLP based Hybrid Model for Patent Distance and Classification using Augmented SBERT

Hamid Bekamiri, Daniel S. Hain+1 more|arXiv (Cornell University)|Mar 22, 2021

Intellectual Property and Patents被引用数 13

ひとこと要約

本論文では、特許の特許明細書から特許間（p2p）類似性を計算するための、拡張されたセンテンス・ビンゴ・トランスフォーマ（SBERT）を用いたハイブリッド深層学習モデル、PatentSBERTaを提案する。これにより、意味的検索およびマルチラベル特許分類が効率的に行える。149万件の特許において、663のCPC小分類レベルで54%の正解率およびF1スコア66%以上を達成し、最先端手法を上回る性能を示した。

ABSTRACT

This study provides an efficient approach for using text data to calculate patent-to-patent (p2p) technological similarity, and presents a hybrid framework for leveraging the resulting p2p similarity for applications such as semantic search and automated patent classification. We create embeddings using Sentence-BERT (SBERT) based on patent claims. We leverage SBERTs efficiency in creating embedding distance measures to map p2p similarity in large sets of patent data. We deploy our framework for classification with a simple Nearest Neighbors (KNN) model that predicts Cooperative Patent Classification (CPC) of a patent based on the class assignment of the K patents with the highest p2p similarity. We thereby validate that the p2p similarity captures their technological features in terms of CPC overlap, and at the same demonstrate the usefulness of this approach for automatic patent classification based on text data. Furthermore, the presented classification framework is simple and the results easy to interpret and evaluate by end-users. In the out-of-sample model validation, we are able to perform a multi-label prediction of all assigned CPC classes on the subclass (663) level on 1,492,294 patents with an accuracy of 54% and F1 score > 66%, which suggests that our model outperforms the current state-of-the-art in text-based multi-label and multi-class patent classification. We furthermore discuss the applicability of the presented framework for semantic IP search, patent landscaping, and technology intelligence. We finally point towards a future research agenda for leveraging multi-source patent embeddings, their appropriateness across applications, as well as to improve and validate patent embeddings by creating domain-expert curated Semantic Textual Similarity (STS) benchmark datasets.

研究の動機と目的

• 自然言語処理（NLP）を用いて特許間（p2p）技術的類似性を測定するための、効率的で解釈可能なフレームワークの開発。
• p2p類似性とK近傍法（KNN）を用いたアプローチにより、自動マルチラベル特許分類を可能にする。
• スケーラブルなテキストベースの類似性モデリングを通じて、意味的検索、特許のランドスケープ分析、および技術インテリジェンスの向上。
• 将来の研究の基盤を築くため、マルチソース特許埋め込みおよびドメイン専門家がキュレートしたSTSベンチマークデータセットの確立。

提案手法

• 特許明細書に特化した事前学習済みSBERTモデルを微調整し、文脈に応じた文の埋め込みを生成する。
• SBERTの埋め込み間のコサイン距離を用いてp2p類似性を計算し、技術的類似性を定量化する。
• 最も類似したK個の特許を用いてK近傍法（KNN）分類器を適用し、CPC分類を予測する。
• p2p類似性が意味的検索およびマルチラベル分類の両方を駆動するハイブリッドフレームワークを採用する。
• 大規模な特許コーパス全体にわたる類似性計算のスケーラビリティを確保するため、SBERTの効率性を活用する。
• 特許明細書内の技術的特徴との整合性を高めるために、ドメイン特化の微調整をSBERTに組み込む。

実験結果

リサーチクエスチョン

• RQ1 SBERTベースの埋め込みは、特許明細書のテキストのみを用いて、特許間の技術的類似性を効果的に捉えることができるか？
• RQ2 p2p類似性に基づくKNN分類器は、最先端手法と比較して、マルチラベル特許分類においてどの程度の性能を示すか？
• RQ3 p2p類似性は、実際のCPC分類の重複度とどの程度相関しているか？
• RQ4 本フレームワークは、大規模な特許データセット（例：149万件）に効率的にスケーリング可能か？
• RQ5 本アプローチは、意味的特許情報検索および技術インテリジェンスアプリケーションにおいて、どの程度の可能性を秘めているか？

主な発見

• 1,492,294件の特許において、CPC小分類のマルチラベル予測で54%の正解率およびF1スコア66%以上を達成した。
• SBERT埋め込みに基づくp2p類似性測定値は、実際のCPC重複度と強く相関しており、技術的関連性が裏付けられた。
• KNNベースの分類フレームワークは、大規模な特許分類に適したシンプルで解釈可能かつ効果的なものである。
• 本アプローチは、テキストベースのマルチクラスおよびマルチラベル特許分類において、既存の最先端手法を上回った。
• フレームワークはスケーラブルであり、意味的特許検索や技術ランドスケープ分析などの応用に適している。
• 本研究では、特許埋め込みモデルのさらなる検証および向上のため、ドメイン専門家がキュレートしたSTSベンチマークデータセットの必要性が明らかになった。