[논문 리뷰] Multi-Task Cross-Lingual Sequence Tagging from Scratch

Zhilin Yang, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2016. 03. 20.

Natural Language Processing Techniques참고 문헌 33인용 수 197

한 줄 요약

본 논문은 CRF 계층이 있는 심층 계층형 GRU를 통해 특징 공학 없이 다중 작업 및 교차 언어 공동 학습을 가능하게 하여 영어, 네덜란드어, 스페인어 NER, 영어 POS 태깅 및 구문(chunking) 태깅에서 최첨단 성능을 달성한다.

ABSTRACT

We present a deep hierarchical recurrent neural network for sequence tagging. Given a sequence of words, our model employs deep gated recurrent units on both character and word levels to encode morphology and context information, and applies a conditional random field layer to predict the tags. Our model is task independent, language independent, and feature engineering free. We further extend our model to multi-task and cross-lingual joint training by sharing the architecture and parameters. Our model achieves state-of-the-art results in multiple languages on several benchmark tasks including POS tagging, chunking, and NER. We also demonstrate that multi-task and cross-lingual joint training can improve the performance in various cases.

연구 동기 및 목표

• 특징 공학을 피하는 태스크- 및 언어-독립적인 시퀀스 태깅 모델의 동기를 제시한다.
• 같은 언어 내에서의 다중 작업 학습을 조사하고, 언어 간 교차 언어 학습을 조사한다.
• 다양한 작업(POS, chunking, NER)과 언어(영어, 네덜란드어, 스페인어)에서의 효과를 입증한다.
• 공유된 아키텍처와 매개변수가 병렬 데이터 없이도 성능 향상을 가져올 수 있음을 보인다.

제안 방법

• 문자 수준과 단어 수준에서 형태소와 맥락을 인코딩하기 위해 깊은 계층형 게이트드 순환 유닛(GRUs)을 사용한다.
• 수작업(features) 없이 표현을 학습하기 위해 문자 및 단어 수준 모두에서 양방향 다층 GRU를 적용한다.
• 단어 수준 표현을 CRF 층과 결합하여 1차 종속성을 갖는 태그 시퀀스를 예측한다.
• 예측 태그 시퀀스와 실제 태그 시퀀스 간의 비용(Hamming 손실)을 포함하는 최대 마진 강화 CRF 목적어로 학습한다.
• 다중 작업(다태스크) 및 언어 간 교차 언어 학습을 통해 네트워크 아키텍처와 매개변수를 공유한다.
• 학습 중에 사전 학습된 단어 임베딩(SENNA: English; Polyglot: Dutch/Spanish)을 미세 조정한다.

실험 결과

연구 질문

• RQ1 태스크- 및 언어- 독립적인 신경 시퀀스 태깅 모델이 POS 태깅, 구문 분석, NER에서 경쟁력 있거나 최첨단 결과를 달성할 수 있는가?
• RQ2 같은 언어 내에서의 다중 작업 joint 학습이 관련 태깅 작업의 성능을 향상시키는가?
• RQ3 병렬 코퍼런스 없이도 언어 간 Morphological 유사성을 활용한 교차 언어 공동 학습이 다국어 환경에서 성능을 향상시키는가?
• RQ4 전체 모델 성능에서 문자 수준 형태소와 단어 수준 의미론의 기여도는 어떻게 되는가?

주요 결과

• CoNLL 2000 영어 구문 분석에서 joint training으로 최첨단 성능 95.41%를 달성했다.
• CoNLL 2002 Dutch NER에서 joint training으로 최첨단 성능 85.19%를 달성했다.
• CoNLL 2002 Spanish NER에서 joint training으로 최첨단 성능 85.77%를 달성했다.
• CoNLL 2003 영어 NER에서 gazetteer 특성을 포함하여 최첨단 성능 91.20%를 달성했다.
• Penn Treebank POS 태깅에서 강력한 성능(97.55% 정확도; 문헌상 두 번째 최상) 달성.
• Joint training의 개선은 Span NER +1.08, English chunking +0.75 등이며, 라벨링 비율에 따라 다양한 이득이 발생; 교차 언어 공동 학습은 형태소 공유의 이점을 보임(예: 국가명 형태소 시각화).
• 단어 임베딩과 문자 수준 GRU 모두 성능에 기여하며, 단어 임베딩이 더 큰 이득을 제공한다.