[논문 리뷰] N-LTP: A Open-source Neural Chinese Language Technology Platform with Pretrained Models.

Wanxiang Che, Yunlong Feng외 2명|arXiv (Cornell University)|2020. 09. 24.

Topic Modeling참고 문헌 25인용 수 36

한 줄 요약

N-LTP는 지식 정제를 통해 성능을 향상시키는 공유 사전 훈련 다중 작업 모델을 사용하여 어휘, 문법, 의미 분석을 포함한 여섯 가지 핵심 작업을 통합하는 오픈소스 신경 중국어 NLP 플랫폼입니다. 단일 작업 기반 기준선보다 뛰어난 성능을 보이며, 접근성 있는 API와 시각화 도구를 제공합니다.

ABSTRACT

We introduce N-LTP, an open-source neural language technology platform supporting six fundamental Chinese NLP tasks: lexical analysis (Chinese word segmentation, part-of-speech tagging, and named entity recognition), {syntactic parsing} (dependency parsing), and {semantic parsing} (semantic dependency parsing and semantic role labeling). Unlike the existing state-of-the-art toolkits, such as Stanza, that adopt an independent model for each task, N-LTP adopts the multi-task framework by using a shared pre-trained model, which has the advantage of capturing the shared knowledge across relevant Chinese tasks. In addition, knowledge distillation where the single-task model teaches the multi-task model is further introduced to encourage the multi-task model to surpass its single-task teacher. Finally, we provide a collection of easy-to-use APIs and a visualization tool to make users easier to use and view the processing results directly. To the best of our knowledge, this is the first toolkit to support six Chinese NLP fundamental tasks. Source code, documentation, and pre-trained models are available at \url{this https URL}.

연구 동기 및 목표

• 여섯 가지 기본 중국어 NLP 작업을 위한 통합된 오픈소스 플랫폼을 개발하기 위해.
• 기존 툴킷이 각 작업에 대해 별도의 모델을 사용하는 데서 비롯하는 한계를 해결하기 위해 다중 작업 학습 프레임워크를 도입하기 위해.
• 단일 작업 모델이 다중 작업 모델을 지도하는 지식 정제를 통해 모델 성능을 향상시키기 위해.
• 직관적인 API와 실시간 결과 검토를 위한 시각화 도구를 제공하여 사용성 향상시키기 위해.

제안 방법

• 중국어 NLP에서 다중 작업 지식을 포괄하는 공유 사전 훈련 기반 아키텍처를 사용하는 다중 작업 학습 프레임워크 채택.
• 어말 분석, 품사 태깅, 명명된 실체 인식, 의존성 파싱, 의미적 의존성 파싱, 의미 역할 레이블링을 포함한 여섯 가지 핵심 NLP 작업 통합.
• 다중 작업 모델이 개별 단일 작업 지도 모델의 예측을 모방하도록 지식 정제 적용.
• 간편한 통합과 배포를 위한 표준화된 API를 갖춘 모듈러 아키텍처 설계.
• NLP 출력 구조의 실시간 검토를 가능하게 하는 시각화 도구 구현.
• 공개 URL에서 사전 훈련 모델, 소스 코드, 포괄적인 문서를 배포.

실험 결과

연구 질문

• RQ1 공유 다중 작업 학습 프레임워크가 고립된 모델 대비 여섯 가지 다양한 중국어 NLP 작업에서 성능 향상을 효과적으로 달성할 수 있는가?
• RQ2 단일 작업 지도 모델에서 유도된 지식 정제가 통합된 다중 작업 모델의 성능 향상에 어느 정도 기여하는가?
• RQ3 일체의 플랫폼에 어휘, 문법, 의미 파싱을 통합함으로써 종단 간 NLP 파이프라인의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 시각화 기능을 지원하는 오픈소스이고 사용자 친화적인 툴킷이 중국어 NLP 분야의 연구자와 실무자에게 효과적으로 기여할 수 있는가?

주요 결과

• N-LTP는 단일 통합 프레임워크 내에서 여섯 가지 기본 중국어 NLP 작업을 모두 지원하는 최초의 오픈소스 툴킷입니다.
• 지식 정제로 향상된 다중 작업 모델은 단일 작업 지도 모델보다 뛰어난 성능을 달성합니다.
• 공유 사전 훈련 아키텍처는 관련 작업 간 효과적인 지식 전이를 가능하게 하여 일반화 능력을 향상시킵니다.
• 플랫폼의 API와 시각화 도구는 연구자와 개발자의 진입 장벽을 크게 낮춥니다.
• 사전 훈련 모델과 완전한 문서가 공개되어 있어 재현성과 광범위한 도입을 가능하게 합니다.
• 문법적 및 의미적 파싱을 동일한 프레임워크 내에 통합함으로써 더 일관되고 맥락에 부합하는 언어 분석이 가능해졌습니다.