[논문 리뷰] Classifying Patent Applications with Ensemble Methods

Fernando Benites, Shervin Malmasi외 1명|arXiv (Cornell University)|2018. 11. 12.

Biomedical Text Mining and Ontologies참고 문헌 23인용 수 4

한 줄 요약

이 논문은 호주 특허 출원을 IPC 분류 체계의 여덟 가지 거시적 분류로 분류하기 위한 앙상블 SVM 기반 시스템을 제시한다. WIPO-alpha와 WIPO-en gamma에서 확보한 광범위한 훈련 데이터와 함께 단어 수준 및 문자 수준의 TF-IDF 특징을 조합함으로써, 이 방법은 ALTA 2018 공동 과제에서 14개 팀 중 1위를 차지하며 0.778의 마이크로 평균 F1 스코어를 달 đạt하였다.

ABSTRACT

We present methods for the automatic classification of patent applications using an annotated dataset provided by the organizers of the ALTA 2018 shared task - Classifying Patent Applications. The goal of the task is to use computational methods to categorize patent applications according to a coarse-grained taxonomy of eight classes based on the International Patent Classification (IPC). We tested a variety of approaches for this task and the best results, 0.778 micro-averaged F1-Score, were achieved by SVM ensembles using a combination of words and characters as features. Our team, BMZ, was ranked first among 14 teams in the competition.

연구 동기 및 목표

• 특허 출원을 여덟 가지 주요 IPC 분류로 자동 분류하는 시스템을 개발하기 위해.
• WIPO 자료보관소에서 제공하는 대규모 비도메인 훈련 데이터를 활용하여 분류 성능을 향상시키기 위해.
• 저자원 특허 텍스트 분류 환경에서 앙상블 학습 및 준지도 학습 기법의 효과성을 탐구하기 위해.
• 일반화 성능 향상을 위해 단어 및 문자 n-그램을 조합한 하이브리드 특징 공학 기법의 효과를 평가하기 위해.
• 특허 출원 분류 과제에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 단어 n-그램(1–2)과 문자 n-그램(3–6)의 TF-IDF 점수를 조합한 하이브리드 특징 세트를 사용하였다.
• 특징은 ALTA 2018 데이터셋에서 추출되었으며, WIPO-alpha에서 46,319개의 훈련 문서와 28,924개의 테스트 문서, WIPO-en gamma에서 100,000개 샘플을 추가로 확장하였다.
• 기본 분류기는 선형 서포트 벡터 머신(SVM)을 사용하였으며, 모델 앙상블을 통해 정확도를 높이고 과적합을 줄였다.
• 준지도 학습 미세조정 단계를 적용하여, 미분류 테스트 데이터에 대한 고신뢰도 예측 결과를 훈련 세트에 추가하였다.
• 텍스트 전처리 과정에서 공백 정규화 및 숫자, 대소문자 구분 제거를 통해 문서를 단일 블록으로 통합하였다.
• 과적합 방지를 위해 훈련 중 10겹 교차검증을 사용하였다.

실험 결과

연구 질문

• RQ1 단일 모델 기반 베이스라인 대비 앙상블 학습을 통한 SVM 기반 분류 성능 향상 여부는 어떻게 되는가?
• RQ2 WIPO 자료보관소에서 제공하는 대규모 비도메인 특허 데이터를 통합할 경우 분류 정확도 향상 정도는 어느 정도인가?
• RQ3 단어 수준 및 문자 수준의 n-그램 특징 조합이 특허 전용 언어 패턴을 얼마나 잘 포착하는가?
• RQ4 라벨이 부족한 상황에서 고신뢰도 가짜 레이블을 활용한 준지도 학습이 성능 향상에 얼마나 기여하는가?
• RQ5 전통적인 단어 기반 접근 방식에 비해 하이브리드 특징 공학 기법이 특허 텍스트 분류에서 더 나은 성능을 내는가?

주요 결과

• 단어 및 문자 수준의 특징을 모두 사용한 앙상블 모델이 사설 테스트 세트에서 0.778의 마이크로 평균 F1 스코어를 기록하며 최고의 성능을 달성하였다.
• WIPO-alpha 및 WIPO-en gamma 데이터의 추가로 성능이 크게 향상되었으며, WIPO-alpha만을 사용한 베이스라인의 F1 스코어 0.744에서 최종 시스템에서는 0.778로 상승하였다.
• 준지도 학습 접근 방식은 성능을 약간 떨어뜨렸으며, 사설 테스트 세트에서 F1 스코어는 0.704로 나타나 이 설정에서는 유의미한 이점이 없었다.
• 최고의 성능을 기록한 시스템은 ALTA 2018 공동 과제에서 14개 팀 중 1위를 차지하였으며, 모든 다른 제출물보다 뛰어난 성능을 보였다.
• 앙상블 학습을 통해 과적합을 방지하고 다양한 특허 텍스트에 대한 일반화 능력을 향상시켰다.
• 단어 및 문자 n-그램의 하이브리드 특징 세트는 단어 기반 특징에 비해 더 효과적이었으며, 특히 대규모 데이터와 조합되었을 때 두드러진 성능 향상을 보였다.