[논문 리뷰] PatentBERT: Patent Classification with Fine-Tuning a pre-trained BERT Model

Jieh-Sheng Lee, Jieh Hsiang|arXiv (Cornell University)|2019. 05. 14.

Machine Learning in Materials Science참고 문헌 6인용 수 86

한 줄 요약

이 논문은 특허 분류를 위해 사전 학습된 BERT 모델을 미세조정하고, 데이터셋이 큰 USPTO 데이터에서 심지어 특허 청구항만 사용해도 최신(state-of-the-art) 성능을 보임.

ABSTRACT

In this work we focus on fine-tuning a pre-trained BERT model and applying it to patent classification. When applied to large datasets of over two millions patents, our approach outperforms the state of the art by an approach using CNN with word embeddings. In addition, we focus on patent claims without other parts in patent documents. Our contributions include: (1) a new state-of-the-art method based on pre-trained BERT model and fine-tuning for patent classification, (2) a large dataset USPTO-3M at the CPC subclass level with SQL statements that can be used by future researchers, (3) showing that patent claims alone are sufficient for classification task, in contrast to conventional wisdom.

연구 동기 및 목표

• 현대 NLP 모델을 활용해 특허 분류를 개선하려는 동기를 부여한다.
• 미세 조정된 BERT가 CNN 기반 접근법보다 효과적임을 보여준다.
• 특허 청구항만으로도 강력한 분류 성능을 달성할 수 있음을 보여준다.
• CPC 하위분류 분류를 위한 대규모 재사용 가능한 데이터셋(USPTO-3M)을 제공한다.

제안 방법

• 특허 데이터를 대상으로 CPC 하위분류 분류를 위해 사전 학습된 BERT 모델을 미세조정한다.
• Baseline으로 CNN 기반의 단어 임베딩 접근법과 비교한다.
• 실험을 특허 청구항에 집중하고 다른 특허 문서 부분은 제외한다.
• 재사용을 위한 SQL 준비 문이 포함된 대규모 데이터셋(USPTO-3M)을 공개한다.

실험 결과

연구 질문

• RQ1 사전 학습된 BERT 모델의 미세조정이 특허 하위분류 분류에서 CNN 기반 방법보다 더 우수한가?
• RQ2 특허 청구항이 전체 특허 문서를 사용하는 것과 비교하여 효과적인 특허 분류에 충분한가?
• RQ3 특허 CPC 하위분류에서 데이터셋 규모가 분류 성능에 미치는 영향은 무엇인가?

주요 결과

• 미세조정된 BERT 기반 접근법이 특허 분류에서 최첨단 성능을 달성한다.
• 이 방법은 대규모 특허 데이터셋에서 단어 임베딩을 가진 CNN 기반 기준선을 능가한다.
• 특허 청구항만으로도 분류 작업에 충분하다는 것이 일반적 상식과 다르다.
• 저자들은 CPC 하위분류 수준의 대형 데이터셋인 USPTO-3M을 SQL 문과 함께 제공하여 향후 사용을 가능하게 한다.