[논문 리뷰] PatentSBERTa: A Deep NLP based Hybrid Model for Patent Distance and Classification using Augmented SBERT

Hamid Bekamiri, Daniel S. Hain외 1명|arXiv (Cornell University)|2021. 03. 22.

Intellectual Property and Patents인용 수 13

한 줄 요약

이 논문은 특허 청구항에서 특허 간 유사성(p2p)을 계산하기 위해 보완된 Sentence-BERT를 사용하는 하이브리드 딥 뉴럴 네트워크 모델인 PatentSBERTa를 제안한다. 이는 효율적인 의미적 검색과 다중 레이블 특허 분류를 가능하게 한다. 149만 개의 특허에서 663개의 하위 분류 수준(CPC)에서 54%의 정확도와 F1 > 66%를 달성하며, 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

This study provides an efficient approach for using text data to calculate patent-to-patent (p2p) technological similarity, and presents a hybrid framework for leveraging the resulting p2p similarity for applications such as semantic search and automated patent classification. We create embeddings using Sentence-BERT (SBERT) based on patent claims. We leverage SBERTs efficiency in creating embedding distance measures to map p2p similarity in large sets of patent data. We deploy our framework for classification with a simple Nearest Neighbors (KNN) model that predicts Cooperative Patent Classification (CPC) of a patent based on the class assignment of the K patents with the highest p2p similarity. We thereby validate that the p2p similarity captures their technological features in terms of CPC overlap, and at the same demonstrate the usefulness of this approach for automatic patent classification based on text data. Furthermore, the presented classification framework is simple and the results easy to interpret and evaluate by end-users. In the out-of-sample model validation, we are able to perform a multi-label prediction of all assigned CPC classes on the subclass (663) level on 1,492,294 patents with an accuracy of 54% and F1 score > 66%, which suggests that our model outperforms the current state-of-the-art in text-based multi-label and multi-class patent classification. We furthermore discuss the applicability of the presented framework for semantic IP search, patent landscaping, and technology intelligence. We finally point towards a future research agenda for leveraging multi-source patent embeddings, their appropriateness across applications, as well as to improve and validate patent embeddings by creating domain-expert curated Semantic Textual Similarity (STS) benchmark datasets.

연구 동기 및 목표

• NLP를 사용하여 특허 간 기술 유사성(p2p)을 측정하기 위한 효율적이고 해석 가능한 프레임워크 개발
• p2p 유사성과 KNN 기반 접근법을 활용한 자동 다중 레이블 특허 분류 지원
• 확장 가능한 텍스트 기반 유사성 모델링을 통해 의미적 검색, 특허 랜드스케이핑 및 기술 인텔리전스 향상
• 다중 소스 특허 임베딩 및 도메인 전문가가 검토한 STS 기준 데이터셋에 대한 향후 연구 기반 마련

제안 방법

• 특허 청구항에 대해 사전 학습된 SBERT 모델을 미세조정하여 문맥 기반 문장 임베딩 생성
• SBERT 임베딩 간 코사인 거리 계산을 통해 p2p 유사성 측정하여 기술 유사성 정량화
• 가장 유사한 특허 K개를 기반으로 K-최근접 이웃(KNN) 분류기 적용하여 CPC 분류 예측
• p2p 유사성이 의미적 검색과 다중 레이블 분류 양자 모두를 이끄는 하이브리드 프레임워크 활용
• 대규모 특허 데이터 코퍼스 전반에서의 효율적인 유사성 계산을 위해 SBERT의 효율성 활용
• 청구항의 기술적 특징과의 일치도 향상을 위해 도메인 특화 미세조정을 통해 SBERT 보완

실험 결과

연구 질문

• RQ1 청구항 텍스트만을 사용하여 SBERT 기반 임베딩이 특허 간 기술 유사성을 효과적으로 포착할 수 있는가?
• RQ2 p2p 유사성 기반 KNN 분류기가 최신 기술 대비 다중 레이블 특허 분류에서 얼마나 잘 성과를 내는가?
• RQ3 p2p 유사성은 실제 CPC 분류 중복과 어느 정도 상관관계를 가지는가?
• RQ4 제안된 프레임워크는 대규모 특허 데이터셋(예: 149만 개의 특허)에 대해 효율적으로 확장 가능한가?
• RQ5 이 접근법은 의미적 지적재산 검색 및 기술 인텔리전스 응용 분야에서 잠재력을 얼마나 지니는가?

주요 결과

• 1,492,294개의 특허에서 다중 레이블 예측의 정확도는 54%이며, F1 스코어는 66%를 초과한다.
• SBERT 임베딩 기반의 p2p 유사성 측정은 실제 CPC 중복과 강한 상관관계를 보이며, 그 기술적 관련성을 검증한다.
• KNN 기반 분류 프레임워크는 단순하고 해석 가능하며 대규모 특허 분류에 효과적이다.
• 기존 최신 기술 대비 텍스트 기반 다중 분류 및 다중 레이블 특허 분류에서 더 뛰어난 성능을 보였다.
• 프레임워크는 확장 가능하며 의미적 특허 검색 및 기술 랜드스케이핑 분석과 같은 응용에 적합하다.
• 연구는 향후 특허 임베딩 모델의 검증 및 향상에 도메인 전문가가 검토한 STS 기준 데이터셋의 필요성을 규명했다.