[논문 리뷰] Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF

Yan Shao, Christian Hardmeier외 2명|arXiv (Cornell University)|2017. 04. 05.

Natural Language Processing Techniques참고 문헌 29인용 수 69

한 줄 요약

완전한 문자 기반 BiRNN-CRF 모델을 사용하여 중국어의 공동 단어 분절과 품사 태깅을 수행하며, 결합된 n-그램 문자 표현, 하위 문자 특징(부수 및 CNN 유래 정형 문자 특징), 그리고 사전 학습 임베딩을 활용한다; CTB5에서 최첨단 성능을 달성하고 CTB9 및 UD Chinese 전반에서 견고한 성능을 보인다.

ABSTRACT

We present a character-based model for joint segmentation and POS tagging for Chinese. The bidirectional RNN-CRF architecture for general sequence tagging is adapted and applied with novel vector representations of Chinese characters that capture rich contextual information and lower-than-character level features. The proposed model is extensively evaluated and compared with a state-of-the-art tagger respectively on CTB5, CTB9 and UD Chinese. The experimental results indicate that our model is accurate and robust across datasets in different sizes, genres and annotation schemes. We obtain state-of-the-art performance on CTB5, achieving 94.38 F1-score for joint segmentation and POS tagging.

연구 동기 및 목표

• 중국어에서 공동 분절 및 POS 태깅을 위한 완전한 문자 기반 BiRNN-CRF 모델을 시연한다.
• 풍부한 맥락 정보와 하위 문자 정보를 포착하는 새로운 문자 표현을 개발하고 평가한다.
• 크기가 다른 데이터셋, 장르, 주석 체계에 걸친 강인성을 평가한다.
• 최첨단 ZPar 시스템과 비교하고 OOV 단어 처리 분석을 한다.
• 오픈 소스 구현 및 사전 학습된 문자 임베딩을 제공한다.

제안 방법

• 중국어 문자에 대한 공동 분절 및 POS 태깅을 위해 BiRNN-CRF 태깅 프레임워크를 적응시킨다.
• 로컬 맥락 정보를 포착하기 위해 연결된 n-그램 벡터로 중국어 문자를 표현한다.
• 부수(lookup 기반) 및 CNN 기반 오소그래피 특징을 통해 하위 문자 정보를 포함한다.
• 맥락 자유 벡터 대신 미리 학습된 문자 임베딩(GloVe)을 선택적으로 사용한다.
• 네 개의 독립적으로 학습된 모델의 점수를 평균화하여 앙상블 디코딩을 적용한다.
• Adagrad로 학습하고 드롭아웃, 버킷형 학습, 1차 CRF 층에서 Viterbi 디코딩을 사용한다.

실험 결과

연구 질문

• RQ1 완전한 문자 기반 BiRNN-CRF 모델이 중국어의 공동 분절 및 POS 태깅에서 최첨단 성능을 달성할 수 있는가?
• RQ2 연결된 n-그램 문자 표현이 표준 문자 임베딩을 넘어서 분절 및 태깅 성능을 향상시키는가?
• RQ3 하위 문자 정보(부수 및 CNN 유래 특징)가 성능에 미치는 영향은 무엇인가?
• RQ4 사전 학습된 문자 임베딩이 서로 다른 크기와 주석 체계를 갖는 데이터셋에서 결과에 어떤 영향을 미치는가?
• RQ5 앙상블 디코딩이 OOV 단어 처리 및 전반적인 강인성 측면에서 유리한가?

주요 결과

• 본 모델은 CTB5에서 공동 분절 및 POS 태깅의 최첨단 성능을 달성했다(F1=94.38 for Seg&Tag with ensemble).
• 연결된 3-그램 표현이 기본 문자 임베딩보다 성능을 크게 향상시키는 반면, 4-그램 및 5-그램 이득은 데이터셋에 따라 달라지며 작은 데이터셋에서는 종종 미미하거나 해로울 수 있다.
• 부수 및 그래픽(CNN 유래) 특징은 일부 데이터셋에서 이점을 제공한다(특히 CTB5 POS 태깅의 부수; 그래픽 특징은 UD1을 향상시키지만 계산 비용이 더 높다).
• 사전 학습된 문자 임베딩은 특히 UD Chinese 같은 작은 데이터셋에서 성능을 향상시키지만 3-그램과 부수를 사용할 때 이점이 감소할 수 있다.
• 네 개의 독립적으로 학습된 모델을 앙상블하면 데이터셋 전반에 걸쳐 일관된 개선을 제공하며 OOV 단어 처리에 유리하다.