[논문 리뷰] PKUSEG: A Toolkit for Multi-Domain Chinese Word Segmentation

Ruixuan Luo, Jingjing Xu외 4명|arXiv (Cornell University)|2019. 06. 27.

Natural Language Processing Techniques참고 문헌 10인용 수 108

한 줄 요약

PKUSEG은 도메인별 모델, 비감독 도메인 적응 및 품사 태깅을 갖춘 다도메인 중국어 단어 분절 도구 키트를 제공하며, 즉시 높은 성능과 용이한 전이 학습을 목표로 한다.

ABSTRACT

Chinese word segmentation (CWS) is a fundamental step of Chinese natural language processing. In this paper, we build a new toolkit, named PKUSEG, for multi-domain word segmentation. Unlike existing single-model toolkits, PKUSEG targets multi-domain word segmentation and provides separate models for different domains, such as web, medicine, and tourism. Besides, due to the lack of labeled data in many domains, we propose a domain adaptation paradigm to introduce cross-domain semantic knowledge via a translation system. Through this method, we generate synthetic data using a large amount of unlabeled data in the target domain and then obtain a word segmentation model for the target domain. We also further refine the performance of the default model with the help of synthetic data. Experiments show that PKUSEG achieves high performance on multiple domains. The new toolkit also supports POS tagging and model training to adapt to various application scenarios. The toolkit is now freely and publicly available for the usage of research and industry.

연구 동기 및 목표

• 다양한 도메인(뉴스, 웹, 의학, 관광) 전반에 걸쳐 강력한 중국어 단어 분절을 달성하고자 한다.
• 도메인별 사전학습 모델과 거친-정밀 미세조정 전략을 제공한다.
• 타깃 도메인에 대한 레이블 없는 데이터를 활용하기 위한 비감독 도메인 적응을 도입한다.
• 다른 다운스트림 작업을 지원하기 위해 품사 태깅과 사용자가 학습한 모델을 가능하게 한다.

제안 방법

• 세분화를 위해 Viterbi 추론을 갖춘 빠르고 정밀한 CRF 모델을 사용한다.
• 고차원 CRF 특징을 효율적으로 학습하기 위해 적응형 온라인 경사 하강법(ADF)을 적용한다.
• 혼합 도메인 데이터(뉴스와 웹, CTB 포함)에서 거친-도메인 모델을 사전 학습하고 도메인 데이터에서 미세 조정한다.
• 번역과 트랜스포머를 통해 합성 데이터를 얻기 위해 마스크된 주의 증강(mA^2)을 도입하여 비감독 도메인 적응을 가능하게 한다.
• 다양한 소스로부터 약 85만 단어 규모의 대규모 도메인 어휘를 구성하여 커버리지를 향상시킨다.
• 도메인별 및 거친 분절을 위한 도구와 함께 사용자가 정의한 사전 및 새로운 모델 학습 도구를 제공한다.

실험 결과

연구 질문

• RQ1 도메인별 모델로 다수 도메인에서 높은 분절 정확도를 PKUSEG가 제공할 수 있는가?
• RQ2 혼합 도메인 데이터에서의 사전 학습이 도메인별 목표에 대한 성능을 향상시키는가?
• RQ3 비감독 도메인 적응(mA^2)이 레이블이 없는 자원에서 타깃 도메인에 유용한 데이터를 생성할 수 있는가?
• RQ4 도메인 특화 모델과 비교했을 때 보정된 기본 모델은 도메인 외 데이터에 어떻게 일반화하는가?

주요 결과

• 도메인별 모델이 모든 평가 도메인에서 기본 모델보다 우수한 성능을 보인다.
• 사전 학습과 미세 조정은 의학, 웹, 뉴스, 관광에서 평균 F1을 더 높게 만든다.
• 비감독 도메인 적응(mA^2)이 레이블 데이터가 부족할 때 도메인 성능을 기본 모델보다 향상시키며(과학, 예술, 엔터테인먼트에서 평균 이득 관찰).
• 합성 데이터로 기본 모델을 다듬으면 도메인 외 데이터의 성능이 향상되고(in-domain 성능에 악영향 없이) 도메인 외 데이터에서 F1이 +0.67 증가한다.
• 대규모 도메인 어휘가 도메인별 용어 커버리지를 크게 향상시킨다(총 약 85만 단어).
• 품사 태깅이 분절과 함께 지원되어 적용 범위를 넓힌다.