[논문 리뷰] Cross-lingual Word Segmentation and Morpheme Segmentation as Sequence Labelling

Yan Shao|arXiv (Cornell University)|2017. 09. 12.

Natural Language Processing Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 양방향 RNN와 CRF를 결합한 BiRNN-CRF를 사용하여 다국어 어절 분할과 형태소 분할을 모두 문자 수준의 시퀀스 레이블링 작업으로 간주하는 보편적이고 데이터 기반의 신경 시퀀스 레이블링 모델을 제안한다. 이 모델은 언어별 맞춤 조정 없이 다양한 언어에서 최고 성능을 달성하며, 형태소 분할에서 두드러진 성능 향상과 약간의 향상은 앙상블 디코딩을 통해 달성되어 저자원 및 고자원 환경 모두에서 뛰어난 일반화 능력을 입증한다.

ABSTRACT

This paper presents our segmentation system developed for the MLP 2017 shared tasks on cross-lingual word segmentation and morpheme segmentation. We model both word and morpheme segmentation as character-level sequence labelling tasks. The prevalent bidirectional recurrent neural network with conditional random fields as the output interface is adapted as the baseline system, which is further improved via ensemble decoding. Our universal system is applied to and extensively evaluated on all the official data sets without any language-specific adjustment. The official evaluation results indicate that the proposed model achieves outstanding accuracies both for word and morpheme segmentation on all the languages in various types when compared to the other participating systems.

연구 동기 및 목표

• 다양한 언어에서 어절 분할과 형태소 분할을 위한 통합 신경 모델을 개발하기 위해.
• 중국어, 일본어, 터키어처럼 어절 구분자가 명시되어 있지 않은 언어에서 어절 및 형태소 경계 탐지 문제를 해결하기 위해.
• 작업 또는 언어별 적응 없이 저자원 및 고자원 언어 간의 일반화 능력을 평가하기 위해.
• 단일 보편 아키텍처를 유지하면서 앙상블 디코딩을 통해 분할 정확도를 향상시키기 위해.
• 다국어 전이 학습을 활용하여 저자원 언어에 적용할 수 있는 가능성 탐색을 위해.

제안 방법

• 모델는 3-그램 문자 표현을 사용하여 문맥적 특징을 인코딩하는 문자 수준의 BiRNN-CRF 아키텍처를 사용한다.
• 정규화를 위해 드롭아웃을 입력 및 히든 표현에 적용하고, 게이트드 리커런트 유닛(GRUs)을 사용해 이중 방향 인코딩을 수행한다.
• 태그 간 전이 점수를 모델링하기 위해 일阶 사슬 CRF 레이어를 사용하며, Viterbi 알고리즘을 통해 전역적으로 최적의 태그 시퀀스를 보장한다.
• 어절 경계를 위한 'X' 태그를 추가하여 어절 분할과 형태소 분할을 동시에 모델링할 수 있도록 태그 집합을 확장한다.
• 예측의 정확도와 강건성을 향상시키기 위해 여러 모델의 예측을 조합하는 앙상블 디코딩을 적용한다.
• 모델는 문자 시퀀스에 대해 엔드 투 엔드로 훈련되며, 분할을 위한 경계 태그(B, I, E, S, X)를 예측한다.

실험 결과

연구 질문

• RQ1 단일 보편 신경 시퀀스 레이블링 모델이 다양한 언어에서 어절 분할과 형태소 분할을 효과적으로 처리할 수 있는가?
• RQ2 기존 시스템과 비교해 빈도가 낮은 형태소 분할 작업에서 BiRNN-CRF 모델의 성능은 어떠한가?
• RQ3 앙상블 디코딩이 다양한 언어와 데이터 크기에서 분할 정확도를 얼마나 향상시키는가?
• RQ4 문자 수준의 표현과 CRF 디코딩이 어절 구분자가 명시되어 있지 않은 언어에서 경계 탐지에 기여하는 방식은 무엇인가?
• RQ5 언어별 맞춤 조정 없이 형태학적으로 복잡하고 복합어가 많은 언어에 대해 모델이 효과적으로 일반화될 수 있는가?

주요 결과

• BiRNN-CRF 모델은 MLP 2017 공동 과제의 10개 언어 전부에서 최고 성능을 기록했으며, 카자흐스탄어에서 F1 점수가 97.5로 가장 높고, 우이그르어*에서 97.2로 수정된 결과를 기록했다.
• 특히 훈련 데이터가 제한된 바스크어와 페르시아어에서 다른 참가 시스템보다 형태소 분할 성능에서 뛰어난 성과를 보였다.
• 앙상블 디코딩은 일관되지만 약간의 향상만을 제공했으며, 데이터가 부족한 바스크어와 페르시아어에서 최대 +0.5 F1의 향상이 있었다.
• 어절 분할의 경우, 높은 OOV 비율과 복잡한 문자 체계를 가진 일본어와 중국어에서도 F1 점수가 95% 이상을 기록했다.
• 모델의 성능은 훈련 데이터 크기에 크게 의존했으며, 바스크어나 페르시아어처럼 저자원 언어에서 형태소 분할 정확도가 크게 떨어졌다.
• 수정된 우이그르어* 결과는 64.3에서 97.2 F1로 상당한 향상이 있었으며, 이는 초기 성능 문제의 원인이 모델의 한계가 아니라 인코딩 오류였음을 시사한다.