[논문 리뷰] A Practical Chinese Dependency Parser Based on A Large-scale Dataset

Shuai Zhang, Lijie Wang외 2명|arXiv (Cornell University)|2020. 09. 02.

Topic Modeling참고 문헌 17인용 수 17

한 줄 요약

이 논문은 다양한 출처에서 유래한 약 100만 개의 수동으로 주석이 달린 문장으로 구성된 대규모 데이터셋인 바이두 중국 트리뱅크(DuCTB)를 기반으로 훈련된 최신 기술 수준의 중국어 의존성 파서인 DDParser를 제시한다. BiLSTM 인코딩을 갖춘 그래프 기반 이중선형 아키텍처를 기반으로 하며 산업용으로 최적화되어 있어 표준 테스트 데이터에서 92.9%의 LAS를 달성하고, 도메인 외부 데이터에서 86.9%의 LAS를 기록하며, 단일 명령어로 쉽게 배포할 수 있는 인터페이스를 제공한다.

ABSTRACT

Dependency parsing is a longstanding natural language processing task, with its outputs crucial to various downstream tasks. Recently, neural network based (NN-based) dependency parsing has achieved significant progress and obtained the state-of-the-art results. As we all know, NN-based approaches require massive amounts of labeled training data, which is very expensive because it requires human annotation by experts. Thus few industrial-oriented dependency parser tools are publicly available. In this report, we present Baidu Dependency Parser (DDParser), a new Chinese dependency parser trained on a large-scale manually labeled dataset called Baidu Chinese Treebank (DuCTB). DuCTB consists of about one million annotated sentences from multiple sources including search logs, Chinese newswire, various forum discourses, and conversation programs. DDParser is extended on the graph-based biaffine parser to accommodate to the characteristics of Chinese dataset. We conduct experiments on two test sets: the standard test set with the same distribution as the training set and the random test set sampled from other sources, and the labeled attachment scores (LAS) of them are 92.9% and 86.9% respectively. DDParser achieves the state-of-the-art results, and is released at https://github.com/baidu/DDParser.

연구 동기 및 목표

• 산업용 NLP 애플리케이션을 위한 실용적이고 고성능의 중국어 의존성 파서 개발
• 대규모, 다양한 종류의 고품질 중국어 의존성 파싱 데이터셋의 부족 문제 해결
• 검색 로그 및 포럼에서 유래한 비정형적이고 비표준적인 표현을 포함한 다양한 문장 유형에 대한 강건한 일반화 가능성 확보
• 연구자 및 개발자가 최소한의 설정으로도 쉽게 사용할 수 있는 사용자 우수한 프로덕션 준비 도구 제공
• 소스 코드와 사전 훈련된 모델을 함께 공개하여 오픈소스 NLP 연구 발전 이바지

제안 방법

• 파서는 이중선형 주의 메커니즘을 사용하여 헤드 단어와 의존 관계를 동시에 예측하는 그래프 기반 이중선형 의존성 파싱 프레임워크에 기반한다.
• 단어 표현은 300차원 단어 임베딩과 50차원 문자 임베딩을 통해 학습되며, 맥락적 인코딩을 위해 3층의 BiLSTM 네트워크를 사용한다.
• 이중선형 분류 이전에 BiLSTM 출력에 차원 감소 다층 퍼셉트론(MLP)을 적용하여 관련 없는 정보를 걸러낸다.
• 이중선형 분류기는 $ S^{arc} = (H^{d-arc} \oplus I)U^{arc}H^{h-arc} $를 통해 아크 점수를 계산하고, $ S^{rel} = (H^{d-rel} \oplus I)U^{rel}((H^{h-rel})^T \oplus I)^T $를 통해 관계 점수를 계산한다.
• 1차 Eisner 알고리즘을 통해 출력이 유효한 프로젝티브 의존성 트리임을 보장하며, 트리의 유효성 검증을 위해 순서 있는 순회 전 검사를 수행한다.
• 새로운 필터링 전략을 통해 의존성 트리의 순서 있는 순회가 연속적인 단어 순서를 생성하는지 확인함으로써 디코딩 이전에 프로젝션 트리의 유효성을 보장한다.

실험 결과

연구 질문

• RQ1 대규모, 다양한 종류의 실제 세계 중국어 코퍼스를 기반으로 훈련된 신경망 의존성 파서가 도메인 내 및 도메인 외부 테스트 세트에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 BiLSTM 인코딩과 문자 수준 특징을 갖춘 이중선형 파서의 성능은 기존 도구와 비교해 중국어 의존성 파싱 벤치마크에서 어떻게 나타나는가?
• RQ3 검색 로그나 포럼에서 유래한 문법적으로 비정형적이거나 비표준적인 문장에 대해 파서의 일반화 능력은 어느 정도인가?
• RQ4 단순화된 배포 및 오픈소스화를 통해 고성능 의존성 파서를 산업용으로 실용적이고 접근 가능하게 만들 수 있는가?
• RQ5 뉴스기사, 포럼, 검색 질의를 포함한 다양한 종류의 데이터 다양성이 파싱의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• DDParser는 바이두 중국 트리뱅크(DuCTB)의 표준 테스트 세트에서 레이블된 첨부 점수(LAS) 92.9%를 기록하여 최신 기술 수준의 성능을 입증했다.
• 도메인 외부 자료에서 무작위로 추출한 테스트 세트에서 파서는 LAS 86.9%를 유지하며, 새로운 문장 유형에 대한 강력한 일반화 능력을 보였다.
• 무작위 테스트 세트에서 다른 공개된 파서보다도 뛰어난 성능을 보였으며, UAS 89.7%와 LAS 86.9%를 기록하여 두 성능 지표에서 경쟁 도구를 모두 초월했다.
• 파서는 매우 실용적이며, 단일 명령어로 설치 및 추론이 가능하여 산업 및 연구 용도로도 접근성이 높다.
• 검색 로그, 포럼, 뉴스기사 등 다양한 종류의 데이터를 포함한 대규모이고 다양한 데이터셋(DuCTB)의 사용은 문법적 다양성에 대한 강건성을 크게 향상시켰다.
• 문자 수준 임베딩과 BiLSTM 인코딩의 통합은 특히 비정형 텍스트에서 희귀어나 OOV(등장하지 않은 단어)에 대해 성능 향상에 기여했다.