[논문 리뷰] Robust Chinese Word Segmentation with Contextualized Word Representations

Yung-Sung Chuang|arXiv (Cornell University)|2019. 01. 17.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 ELMo에서 유래한 문맥 기반 문자 표현을 사용하는 양방향 LSTM를 활용한 강건한 중국어 형태소 분석 모델을 제안하며, OOV(사전에 없는 단어) 오류율을 크게 감소시킨다. 문맥 의존성 임베딩을 활용함으로써, 특히 OOV 단어에서 기존 모델 대비 최대 5% 향상된 정확도를 달성하여 다양한 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, after the neural-network-based method was proposed, the accuracy of the Chinese word segmentation task has made great progress. However, when dealing with out-of-vocabulary words, there is still a large error rate. We used a simple bidirectional LSTM architecture and a large-scale pretrained language model to generate high-quality contextualize character representations, which successfully reduced the weakness of the ambiguous meanings of each Chinese character that widely appears in Chinese characters, and hence effectively reduced OOV error rate. State-of-the-art performance is achieved on many datasets.

연구 동기 및 목표

• 실제 응용에서 모델 일반화 능력을 심각하게 제한하는 중국어 형태소 분석에서의 지속적인 문제인 OOV 단어 문제를 해결하기 위해.
• 문맥에 의존하지 않는 문자 표현 대신 의미적 의존성을 주변 문자 간에 포착하는 문맥 기반 임베딩으로 모델의 강건성을 향상시키기 위해.
• 기존의 신경망 모델 대비 ELMo에서 유래한 문맥 기반 표현이 OOV 단어에서 오류율을 얼마나 크게 감소시키는지 평가하기 위해.
• 간단한 스택되지 않은 Bi-LSTM 아키텍처와 ELMo 임베딩 조합이 표준 중국어 형태소 분석 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델은 문맥에 민감하고 문장마다 동적으로 조정되는 ELMo 임베딩에서 유도된 문자 수준 입력을 처리하기 위해 3층의 양방향 LSTM를 사용한다.
• 입력 표현은 문자 수준의 CNN을 통해 생성되며, ELMo 프레임워크 내에서 두 층의 양방향 LSTM를 거쳐 각 문자에 대한 문맥 기반 표현을 생성한다.
• 출력층은 각 문자 위치에서 현재 단어에 계속 추가할지(연결) 또는 분리할지(현재 단어를 종료하고 새 단어를 시작) 예측하기 위해 이원 소프트맥스를 적용한다.
• ELMo 임베딩은 문자 분할 문장에 대해 미세조정되어 학습과 추론 간 일관성을 유지하며, 문자 표현 품질을 향상시킨다.
• 모델는 Adam 최적화를 사용하여 교차 엔트로피 손실로 훈련되며, 미세조정 과정에서 ELMo의 스칼라 스케일링 및 소프트맥스 정규화된 가중치가 하류 작업 적응을 위해 조정된다.
• 기본 모델로 스위프그램 Word2Vec 임베딩을 사용하여 문맥 기반 표현의 효과가 OOV 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 ELMo에서 유래한 문맥 기반 단어 표현이 중국어 형태소 분석에서 OOV 오류율을 상당히 감소시킬 수 있는가?
• RQ2 ELMo 임베딩을 사용하는 단순한 스택되지 않은 Bi-LSTM 아키텍처는 더 복잡한 스택된 LSTM 모델 대비 분할 정확도와 OOV 강건성 측면에서 어떻게 비교되는가?
• RQ3 문맥 기반 표현은 문맥에 의존하지 않는 임베딩에 비해 미리 보지 못한 OOV 단어에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ4 기타 데이터셋과는 달리 MSR 데이터셋에서는 강력한 OOV 성능에도 불구하고 성능 향상이 제한적인 이유는 무엇인가?

주요 결과

• 제안된 모델은 평가된 모든 중국어 형태소 분석 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전의 최신 기술 모델을 능가한다.
• OOV 단어에서 모델은 약 96%의 정확도를 달성하여, 스위프그램 임베딩을 사용하는 기본 모델 대비 5% 향상된 성능을 보였다.
• 특히 OOV 비율이 높은 데이터셋에서 모델은 OOV 단어에 대해 상당히 뛰어난 강건성을 보였으며, 이 경우 기본 모델의 OOV 정확도는 약 91%로 떨어졌다.
• MSR 데이터셋은 OOV 비율이 낮아서(2.6%) 기본 모델 대비 성능 향상이 미미했으며, 숫자 포함 또는 명명된 실체 OOV(예: "15類", "中共湖北省委") 비율이 높아 규칙 기반 방법으로도 일관되게 분할되는 경향이 있었다.
• 통계 분석 결과 MSR 데이터셋의 36%의 OOV 단어가 5자 이상이었고, 다른 데이터셋의 경우 10% 미만이었으며, 이는 긴 명명된 실체 OOV가 모델의 이점을 제한하는 것으로 나타났다.
• 인간 레이블링과 의미 기반 분할이 다를 수 있는 모호한 분할 예를 예로 들면 "老歌"(오래된 노래) 또는 "抗癌"(암 퇴치)와 같이 평가 지표에 영향을 주는 경우가 있다.