[논문 리뷰] Chinese Lexical Analysis with Deep Bi-GRU-CRF Network

Zhenyu Jiao, Shuqi Sun외 1명|arXiv (Cornell University)|2018. 07. 05.

Natural Language Processing Techniques참고 문헌 13인용 수 43

한 줄 요약

논문은 중국어 단어 분절, 품사 태깅, NER를 함께 수행하는 깊은 스택형 Bi-GRU-CRF 모델을 제시하며, 의사 주석 코퍼스와 소규모 인간 주석 코퍼스로 학습되어 상태 수준의 정확도와 이전 온라인 시스템에 비해 더 빠른 추론을 달성한다.

ABSTRACT

Lexical analysis is believed to be a crucial step towards natural language understanding and has been widely studied. Recent years, end-to-end lexical analysis models with recurrent neural networks have gained increasing attention. In this report, we introduce a deep Bi-GRU-CRF network that jointly models word segmentation, part-of-speech tagging and named entity recognition tasks. We trained the model using several massive corpus pre-tagged by our best Chinese lexical analysis tool, together with a small, yet high-quality human annotated corpus. We conducted balanced sampling between different corpora to guarantee the influence of human annotations, and fine-tune the CRF decoding layer regularly during the training progress. As evaluated by linguistic experts, the model achieved a 95.5% accuracy on the test set, roughly 13% relative error reduction over our (previously) best Chinese lexical analysis tool. The model is computationally efficient, achieving the speed of 2.3K characters per second with one thread.

연구 동기 및 목표

• 중간 파이프라인의 오류 전파와 통합 복잡성을 줄이기 위해 중국어 렉컬 분석의 통합 엔드-투-엔드 접근을 제안한다.
• 단어 분절, 품사 태깅, NER를 함께 학습하는 깊은 Bi-GRU-CRF 모델을 개발한다.
• 대규모 의사 주석 코퍼스와 소형 인간 주석 코퍼스를 활용하여 모델을 학습하고 규칙화한다.
• linguistic experts와의 정확도 평가 및 기존 Baidu 온라인 시스템과의 비교를 수행한다.
• 배포에 적합한 속도와 메모리 요구량 측면에서의 효율성을 입증한다.

제안 방법

• 특정 손수 제작 기능 없이 두 개의 스택형 Bi-GRU 층으로 문자 시퀀스를 인코딩한다.
• IOB2 스타일 태그와 함께 레이블 시퀀스를 함께 디코딩하는 CRF 디코딩 레이어를 부착한다.
• 의사 주석 데이터와 인간 주석 데이터의 혼합 코퍼스에서 최대 조건부 가능도로 학습하고 인간 주석 코퍼스를 과샘플링한다.
• 학습 중에 인간 코퍼스의 레이블이 지정된 전이로 CRF 디코딩 레이어를 미세 조정한다.
• 디코딩 중에 IOB2에 기반한 하드 제약을 적용하여 유효한 태그 시퀀스를 보장한다.

실험 결과

연구 질문

• RQ1 깊은 Bi-GRU-CRF 모델이 중국어 단어 분절, 품사 태깅, NER를 함께 수행하면서 경쟁력 있는 정확도를 낼 수 있는가?
• RQ2 합성 모델이 기존 Baidu 온라인 시스템과 정확도 및 효율성에서 어떻게 비교되는가?
• RQ3 소규모 인간 주석 코퍼스를 포함시키면 디코딩 전이 및 전체 성능이 향상되는가?
• RQ4 메모리 효율성과 실시간 또는 거의 실시간 대규모 처리가 가능한가?

주요 결과

모델	정확도	정밀도	재현율	F1-스코어
온라인 시스템	0.948
Bi-GRU-CRF	0.955	0.903	0.854	0.878

• Bi-GRU-CRF 모델은 테스트 세트에서 95.5%의 정확도를 달성하여 이전 온라인 시스템보다 약 0.7%p 더 높은 성능을 보인다.
• NER에서 모델은 정밀도 0.903, 재현율 0.854, F1-점수 0.878로 온라인 시스템과 유사하거나 전측에서 우수한 지표를 달성한다.
• 엔드-투-엔드 모델은 초당 2.3K 문자 처리 속도와 메모리 사용량이 100 MB 이하이다.
• 온라인 시스템에 비해 Bi-GRU-CRF가 주어진 벤치마크에서 처리 속도가 57% 빠르다.
• 학습은 대규모 의사 주석 코퍼스와 소형 인간 주석 코퍼스를 사용하여 학습을 정규화하고 전이 확률을 개선한다.
• 이 접근법은 복잡한 다중 모델 통합의 필요성을 줄이는 단일 모델 솔루션을 제공한다.