[논문 리뷰] Neural Chinese Word Segmentation with Dictionary Knowledge

Junxin Liu, Fangzhao Wu외 3명|arXiv (Cornell University)|2018. 07. 11.

Natural Language Processing Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 사전 지식을 통합하여 신경망 기반 중국어 형태소 분석(CWS) 성능을 향상시키기 위해 두 가지 엔드 투 엔드 방법을 제안한다: 가짜 레이블 데이터 생성 및 어휘 분류 작업을 통한 다중 작업 학습. 실험 결과, 특히 자원이 부족한 조건에서 뚜렷한 성능 향상이 나타나, 사전 통합이 OOV 단어 처리 능력을 향상시키고 대규모 레이블 데이터셋에 대한 의존도를 줄임을 입증한다.

ABSTRACT

Chinese word segmentation (CWS) is an important task for Chinese NLP. Recently, many neural network based methods have been proposed for CWS. However, these methods require a large number of labeled sentences for model training, and usually cannot utilize the useful information in Chinese dictionary. In this paper, we propose two methods to exploit the dictionary information for CWS. The first one is based on pseudo labeled data generation, and the second one is based on multi-task learning. The experimental results on two benchmark datasets validate that our approach can effectively improve the performance of Chinese word segmentation, especially when training data is insufficient.

연구 동기 및 목표

• 훈련 데이터가 부족하여 발생하는 신경망 기반 CWS 모델의 외부 어휘(OOV) 단어 처리 능력 부족 문제를 해결하기 위해.
• 수동적인 특징 공학 없이 기존 중국어 사전을 활용하여 모델의 일반화 능력을 향상시키기 위해.
• 신경망 CWS 프레임워크에 사전 정보를 직접 통합할 수 있는 엔드 투 엔드 학습 가능한 방법을 개발하기 위해.
• 외부 어휘 지식을 통합하여 대규모 레이블 데이터셋에 대한 의존도를 줄이기 위해.

제안 방법

• 중국어 사전에서 무작위로 단어를 추출하여 유효한 문장으로 조합함으로써 가짜 레이블이 부여된 훈련 문장을 생성한다.
• 실제 레이블이 부여된 문장과 생성된 가짜 레이블 문장을 모두 사용하여 신경망 CWS 모델을 훈련하며, 기여도를 조절하기 위해 학습 가능한 가중치(λ₁)를 사용한다.
• 별도의 어휘 분류 헤드를 도입하여 문자 시퀀스가 유효한 중국어 어휘인지 예측하도록 다중 작업 학습 설정을 구성한다.
• CWS와 어휘 분류 작업 간에 하위 네트워크 파rameter를 공유하여 공동 최적화를 가능하게 한다.
• 내부 사전(훈련 데이터에서 구축된 사전)과 외부 사전(예: Sogou)을 모두 사용하여 커버리지와 모델의 강건성을 향상시킨다.
• CWS와 어휘 분류 목표를 결합한 가중 손실을 최적화하며, λ₂는 보조 작업의 상대적 중요도를 조절한다.

실험 결과

연구 질문

• RQ1 레이블이 부족한 훈련 데이터 조건에서 사전 지식이 신경망 기반 CWS 성능을 향상시킬 수 있는가?
• RQ2 가짜 레이블 데이터 생성을 통해 사전 정보를 통합하면 OOV 단어에 대한 일반화 능력이 향상되는가?
• RQ3 어휘 분류 헤드를 활용한 다중 작업 학습이 기존 신경망 모델 대비 CWS 성능 향상에 기여하는가?
• RQ4 내부 사전과 외부 사전은 분석 정확도 향상에 대해 어떻게 비교되는가?
• RQ5 실제 레이블 데이터, 가짜 레이블 데이터, 보조 어휘 분류 신호 간의 최적의 균형은 무엇인가?

주요 결과

• 제안된 방법은 빈도 기반 데이터셋에서 CWS 성능을 뚜렷이 향상시키며, 특히 훈련 데이터가 부족한 경우에 두드러진다.
• 외부 사전(예: Sogou)을 사용할 경우 내부 사전만 사용하는 것보다 성능이 뛰어나다.
• 내부 및 외부 사전을 함께 사용할 경우 가장 우수한 성능를 기록하여 상호 보완적인 정보임을 확인한다.
• 사전 크기가 커질수록 성능 향상이 이루어지며, 더 넓은 어휘 커버리지가 모델 학습에 기여함을 확인한다.
• 최적의 초모수 λ₁ 및 λ₂가 존재한다 — 너무 높은 값은 가짜 신호 또는 보조 신호에 과도하게 집중시켜 성능 저하를 초래한다.
• 사례 연구 결과, 표준 모델이 분석에 실패하는 OOV 단어 ‘被害人’ 및 희귀 어구 ‘一口气’ 등도 정확하게 분석하는 것으로 확인되었다.