[논문 리뷰] Transfer Deep Learning for Low-Resource Chinese Word Segmentation with a Novel Neural Network

Jingjing Xu, Xu Sun|arXiv (Cornell University)|2017. 02. 15.

Natural Language Processing Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 저자원 중국어 어절 분할을 향상시키기 위해 교사-학생 신경망을 사용하는 전이 학습 프레임워크를 제안한다. 고자원 데이터에서 사전 훈련한 교사 모델의 가중치로 학생 모델를 초기화하고, 저자원 데이터셋에 적응하기 위해 가중치가 부여된 데이터 유사도 방법을 적용함으로써, PKU에서 96.1%, CTB에서 96.2%의 최신 기술(F-score)을 달성하였으며, 이는 이전 방법 대비 각각 2.3% 및 1.5% 향상된 성능이다.

ABSTRACT

Recent studies have shown effectiveness in using neural networks for Chinese word segmentation. However, these models rely on large-scale data and are less effective for low-resource datasets because of insufficient training data. We propose a transfer learning method to improve low-resource word segmentation by leveraging high-resource corpora. First, we train a teacher model on high-resource corpora and then use the learned knowledge to initialize a student model. Second, a weighted data similarity method is proposed to train the student model on low-resource data. Experiment results show that our work significantly improves the performance on low-resource datasets: 2.3% and 1.5% F-score on PKU and CTB datasets. Furthermore, this paper achieves state-of-the-art results: 96.1%, and 96.2% F-score on PKU and CTB datasets.

연구 동기 및 목표

• 부족한 레이블이 있는 훈련 데이터로 인해 저자원 데이터셋에서 중국어 어절 분할 성능이 떨어지는 문제를 해결한다.
• MSR와 같은 고자원 코퍼스를 활용하여 PKU 및 CTB와 같은 저자원 데이터셋에서의 모델 일반화 능력을 향상시킨다.
• 사전 훈련된 교사 모델에서 학생 모델로 지식을 전이하는 전이 학습 프레임워크를 개발하여 무작위 초기화에 의존하는 것을 줄인다.
• 고자원 및 저자원 코퍼스 간 분포 이탈을 다루기 위해, 학생 모델 훈련 중에 데이터 유사도를 가중치로 적용한 방법을 도입한다.
• 모델 성능을 저하시키지 않고도 훈련 속도를 향상시키기 위해 미니배치 비동기 병렬(MAP) 학습을 적용한다.

제안 방법

• 고자원 코퍼스(예: MSR)에서 새로운 통합 글로벌-로컬 신경망 아키텍처를 사용하여 교사 모델을 훈련한다.
• 사전 훈련된 교사 모델의 가중치로 학생 모델를 초기화하여 무작위 초기화보다 더 나은 시작점을 제공한다.
• 정밀도와 재현율을 사용하여 각 고자원 샘플과 저자원 데이터셋 간의 가중치가 부여된 데이터 유사도를 계산한다.
• 오차율 $ e^t = 1 - \frac{2p^t r^t}{p^t + r^t} $ 과 업데이트 비율 $ a^t = \frac{1}{2} \log \frac{1 - e^t}{e^t} $ 을 기반으로 각 샘플의 학습률을 적응적으로 업데이트한다.
• 모델 성능을 저하시키지 않고 훈련 시간을 거의 5배 단축하기 위해, 미니배치 비동기 병렬(MAP) 학습을 적용한다.
• 양방향 LSTM과 게이트드 재귀 네트워크를 통합하여 향상된 특징 추출을 위한 통합 글로벌-로컬 신경망을 사용한다.

실험 결과

연구 질문

• RQ1 고자원 코퍼스에서의 전이 학습이 저자원 데이터셋에서 중국어 어절 분할 성능을 크게 향상시킬 수 있는가?
• RQ2 지식 전이 과정에서 고자원 및 저자원 코퍼스 간 분포 이탈을 어떻게 완화할 수 있는가?
• RQ3 데이터 유사도에 기반한 적응형 학습률 스케줄링이 저자원 데이터에서의 모델 수렴 및 성능 향상에 기여하는가?
• RQ4 미니배치 비동기 병렬 학습이 신경 어절 분할에 효과적으로 적용되어 성능 저하 없이 훈련 속도를 향상시킬 수 있는가?
• RQ5 제안된 방법이 PKU 및 CTB와 같은 저자원 벤치마크에서 기존 최신 기술 모델보다 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 제안된 방법은 PKU 데이터셋에서 96.1%, CTB 데이터셋에서 96.2%의 최신 기술(F-score)을 달성하여 이전 신경망 모델을 초월한다.
• 저자원 데이터셋에서 이전 최신 기술 방법 대비 PKU에서 F-score를 2.3%p, CTB에서 1.5%p 향상시켰다.
• MSR 코퍼스에서 지식을 전이함으로써, 교사-학생 프레임워크를 통해 PKU에서 F-score를 1.0%p, CTB에서 0.5%p 향상시켰다.
• 가중치가 부여된 데이터 유사도 방법은 분포 이탈을 효과적으로 줄여 고자원 데이터에서 저자원 데이터로의 지식 전이를 향상시켰다.
• 미니배치 비동기 병렬 학습은 순차적 훈련 대비 훈련 시간을 거의 5배 단축시키면서 동일한 F-score 성능을 유지하였다.
• 기본 Bi-LSTM 모델 대비 PKU에서 오차율을 34.3% 감소시키고, CTB에서는 26.3% 감소시켜 저자원 데이터에서 강력한 일반화 능력을 입증하였다.