[논문 리뷰] A Survey on Sentence Embedding Models Performance for Patent Analysis

Hamid Bekamiri, Daniel S. Hain외 1명|arXiv (Cornell University)|2022. 04. 28.

Intellectual Property and Patents인용 수 5

한 줄 요약

이 종합 검토는 특허 분석을 위한 문장 임베딩 모델을 평가하며, 특허SBERTa와 전용 데이터셋을 사용하여 기술적 유사도를 측정하는 표준화된 벤치마크를 제안한다. 특허SBERTa, Bert-for-patents, 및 TF-IDF 가중 단어 임베딩가 하위군 수준에서 특허를 분류하는 데 가장 높은 정확도를 달성하며, 특허 섹션의 구체성에 기반한 연구자용 모델 선택 가이드를 제공한다.

ABSTRACT

Patent data is an important source of knowledge for innovation research, while the technological similarity between pairs of patents is a key enabling indicator for patent analysis. Recently researchers have been using patent vector space models based on different NLP embeddings models to calculate the technological similarity between pairs of patents to help better understand innovations, patent landscaping, technology mapping, and patent quality evaluation. More often than not, Text Embedding is a vital precursor to patent analysis tasks. A pertinent question then arises: How should we measure and evaluate the accuracy of these embeddings? To the best of our knowledge, there is no comprehensive survey that builds a clear delineation of embedding models' performance for calculating patent similarity indicators. Therefore, in this study, we provide an overview of the accuracy of these algorithms based on patent classification performance and propose a standard library and dataset for assessing the accuracy of embeddings models based on PatentSBERTa approach. In a detailed discussion, we report the performance of the top 3 algorithms at section, class, and subclass levels. The results based on the first claim of patents show that PatentSBERTa, Bert-for-patents, and TF-IDF Weighted Word Embeddings have the best accuracy for computing sentence embeddings at the subclass level. According to the first results, the performance of the models in different classes varies, which shows researchers in patent analysis can utilize the results of this study to choose the best proper model based on the specific section of patent data they used.

연구 동기 및 목표

• 특허 유사도 작업에서 문장 임베딩 모델에 대한 종합적인 평가 기준의 부족을 해결하기 위해.
• 특허 분류에서 임베딩 모델 정확도를 평가하기 위한 표준화된 라이브러리와 데이터셋을 제공하기 위해.
• 다양한 특허 분류 수준(섹션, 클래스, 하위군)에서 최상위 임베딩 모델의 성능을 비교하기 위해.
• 연구자가 분석하고자 하는 특허 데이터의 세분성에 따라 최적의 모델을 선택할 수 있도록 안내하기 위해.
• 미래의 특허 임베딩 평가 연구를 위한 재현 가능한 벤치마크를 구축하기 위해.

제안 방법

• 연구는 특허의 첫 번째 청구항으로 구성된 정제된 데이터셋을 사용하여 다수의 문장 임베딩 모델을 평가한다.
• 기준 비교를 위해 특허SBERTa의 미세조정 버전을 사용한다.
• 성능 평가는 섹션, 클래스, 하위군 수준에서 다중 클래스 분류 정확도를 통해 측정된다.
• 평가 프레임워크에는 모델 비교 및 재현 가능성을 위한 표준화된 라이브러리가 포함되어 있다.
• TF-IDF 가중 단어 임베딩과 BERT 기반 모델이 비교 분 析에 포함되어 있다.
• 모델의 일반화 능력을 평가하기 위해 0-샷 평가 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 하위군 수준에서 특허를 분류하는 데 가장 높은 정확도를 달성하는 문장 임베딩 모델은 무엇인가?
• RQ2 모델 성능은 특허 분류 수준(섹션, 클래스, 하위군)에 따라 어떻게 변화하는가?
• RQ3 특화된 모델인 특허SBERTa와 일반 목적 모델 간의 상대적 성능은 어떠한가?
• RQ4 표준화된 벤치마크는 특허 분석에서 재현 가능성과 모델 선택을 향상시킬 수 있는가?
• RQ5 TF-IDF 가중 단어 임베딩는 특허 유사도 작업에서 딥러닝 기반 임베딩보다 어떻게 비교되는가?

주요 결과

• 특허SBERTa가 하위군 수준에서 특허 분류에 가장 높은 정확도를 기록했다.
• Bert-for-patents는 하위군 수준 분류에서 두 번째로 높은 성능을 보였다.
• TF-IDF 가중 단어 임베딩는 경쟁력 있는 성능을 보이며 하위군 수준 정확도에서 세 번째로 높았다.
• 모델 성능는 특허 섹션에 따라 크게 달라지며, 이는 모델의 적합성이 맥락에 따라 달라짐을 시사한다.
• 연구는 향후 특허 임베딩 연구의 벤치마킹을 위한 표준화된 평가 라이브러리와 데이터셋을 구축했다.
• 결과는 특화된 미세조정이 특허 전용 유사도 작업에서 성능 향상에 기여함을 뒷받침한다.