[논문 리뷰] Patents Phrase to Phrase Semantic Matching Dataset

Grigor Aslanyan, Ian Wetherbee|arXiv (Cornell University)|2022. 08. 01.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

이 논문은 특허의 기술 용어에 중점을 두고, 문맥 기반의 인간 주석이 내장된 새로운 문장 쌍 유사도 데이터셋을 소개한다. 이 데이터셋은 48,548개의 항목을 포함하며, 동의어, 하위개념어, 반대어 등의 세분화된 의미 카테고리와 문맥 기반의 CPC 코드를 사용해 주석이 달렸다. 이 데이터셋은 문장의 의미 해석 및 악성 키워드 매칭과 같은 어려운 사례에 대한 모델 평가를 가능하게 하며, Sentence-BERT가 가장 뛰어난 성능을 보였다 (Spearman 0.577). 일반 특허에 최적화된 BERT 모델들조차도 이를 뛰어넘었다.

ABSTRACT

There are many general purpose benchmark datasets for Semantic Textual Similarity but none of them are focused on technical concepts found in patents and scientific publications. This work aims to fill this gap by presenting a new human rated contextual phrase to phrase matching dataset. The entire dataset contains close to $50,000$ rated phrase pairs, each with a CPC (Cooperative Patent Classification) class as a context. This paper describes the dataset and some baseline models.

연구 동기 및 목표

• 특허 및 과학 논문에서의 기술적 개념에 집중된 벤치마크 데이터셋의 부족을 해결하기 위해.
• 세분화된 의미 평가(예: 동의어, 하위개념어, 반대어)와 문맥 기반의 CPC 분류를 포함한 고품질의 인간 주석 데이터셋을 구축하기 위해.
• 문장의 의미 해석, 악성 키워드 매칭, BERT 기반 모델이 어려움을 겪는 어려운 음성 예제들을 포함하기 위해.
• 특허 전용 언어에 대해 세분화된 의미 매칭 모델을 훈련하고 평가하기 위한 공개 벤치마크를 제공하기 위해.

제안 방법

• 데이터셋은 특허 코퍼스에서 핵심 명사어 및 기능 어휘어를 추출하여 구성되었으며, 빈도가 높은 용어(≥100개 특허)로 필터링되었다.
• 각 기준 어휘어에 대해, 특허의 분류 코드에서 최대 4개의 CPC 클래스를 무작위로 샘플링하여 문맥으로 사용하였다.
• 대상 어휘어는 두 가지 방법으로 생성되었다: 부분 일치(공통 토큰이 있지만 다른 어휘어) 및 BERT를 사용한 마스킹 언어 모델링을 통해 마스킹된 어휘어를 예측하는 방식.
• 모든 어휘어는 인간 주석 이전에 사전 처리(소문자화, 구두점 및 정지어 제거)를 거쳤다.
• 두 명의 독립적인 평가자가 각 어휘어 쌍의 의미 유사도를 평가하고, 다섯 단계의 유사도 수준과 하위 분류(예: 하위개념어, 도메인 관련)를 할당하였다.
• 평가자 간의 불일치는 평가자 간 토론을 통해 해결되었으며, 평가자들이 생성한 어휘어는 최종 데이터셋에 통합되었다.

실험 결과

연구 질문

• RQ1 기존의 사전 학습된 모델들은 문맥적 단서를 포함한 특허 기술어를 다루는 의미 매칭 작업에서 어떻게 성능을 보이는가?
• RQ2 백오프워즈 및 일반 목적의 임베딩 모델은 공통 키워드를 공유하지만 의미가 다른 특허 전용 어휘어 쌍에서 얼마나 실패하는가?
• RQ3 특허 전용 데이터로 미세조정된 모델은 이 의미 매칭 작업에서 일반 목적의 모델보다 뛰어나게 성능을 내는가?
• RQ4 Sentence-BERT와 같은 듀얼타워 아키텍처는 다른 아키텍처에 비해 이 전용 데이터셋에서 얼마나 효과적인가?

주요 결과

• 테스트 세트에서 가장 뛰어난 성능을 보인 모델은 Sentence-BERT(all-mpnet-base-v2)였으며, 스피어만 상관계수 0.577과 피어슨 상관계수 0.598를 기록했다.
• 특허 데이터로 사전 학습된 Patent-BERT는 일반 목적의 BERT-Large 모델보다 뛰어났으며, 이 모델은 스피어만 상관계수 0.409와 피어슨 상관계수 0.418를 기록했다.
• 기존의 백오프워즈 모델(GloVe, FastText, Word2Vec)은 성능이 열악했으며, 피어슨 상관계수 0.44 이하로 나타나 복잡한 의미 매칭 작업에서 효과성이 떨어졌다.
• 문맥 기반의 CPC 코드 포함 여부가 의미 해석에 크게 기여함을 입증하였으며, 예를 들어 '산성 흡착'과 '산성 역류' 같은 어휘어를 동일한 문맥에서 구분할 수 있었다.
• 이 데이터셋은 973개의 고유한 기준 어휘어와 106개의 고유한 CPC 클래스를 포함하며, 연구 목적을 위해 카글(Kaggle)에서 공개되어 있다.
• 이 데이터셋은 하위개념어(예: '가솔린 블렌드' → '연료 블렌드'), 하위개념어(예: 'faucet assembly' → 'water tap'), 도메인 관련 매칭 등 다양한 의미 관계를 포함하여 세분화된 평가를 가능하게 한다.