[논문 리뷰] Unified Multi-Criteria Chinese Word Segmentation with BERT

Zhen Ke, Liang Shi외 4명|arXiv (Cornell University)|2020. 04. 13.

Natural Language Processing Techniques참고 문헌 21인용 수 13

한 줄 요약

이 논문은 BERT의 문맥적 표현과 이항형 특징, 보조 기준 분류 작업을 통합한 통합형 BERT 기반 모델을 제안한다. 이 모델은 통합 프레임워크를 통해 공유 표현을 활용하여 여덟 개의 데이터셋에서 최신 기준 성능을 달성하며, CRF 디코딩 없이도 이전의 다중 작업 및 통합 모델을 능가한다.

ABSTRACT

Multi-Criteria Chinese Word Segmentation (MCCWS) aims at finding word boundaries in a Chinese sentence composed of continuous characters while multiple segmentation criteria exist. The unified framework has been widely used in MCCWS and shows its effectiveness. Besides, the pre-trained BERT language model has been also introduced into the MCCWS task in a multi-task learning framework. In this paper, we combine the superiority of the unified framework and pretrained language model, and propose a unified MCCWS model based on BERT. Moreover, we augment the unified BERT-based MCCWS model with the bigram features and an auxiliary criterion classification task. Experiments on eight datasets with diverse criteria demonstrate that our methods could achieve new state-of-the-art results for MCCWS.

연구 동기 및 목표

• 다양하고 복잡한 기준을 동시에 충족시키는 중국어 형태소 분석 문제를 해결하기 위해.
• 통합 프레임워크와 사전 훈련된 BERT 표현의 장점을 결합하여 MCCWS 성능을 향상시키기 위해.
• 이항형 특징 통합과 보조 기준 분류 헤드를 통해 모델의 일반화 능력과 OOV 단어 처리 능력을 향상시키기 위해.
• 병렬 계산을 통한 엔드 투 엔드 학습에 의존함으로써 CRF 디코딩이 필요 없도록 하기 위해.
• 다중 작업 학습 접근 방식에 비해 더 효율적이고 효과적인 MCCWS 프레임워크를 구축하기 위해.

제안 방법

• 목표 분할 기준에 따라 조건부로 BERT 인코더를 동작시키기 위해 특수 기준 토큰(예: <pku>)을 입력 문장에 추가한다.
• BERT를 사용해 증강된 입력을 문맥 기반 문자 표현으로 인코딩하여 풍부한 언어적 사전 지식을 포착한다.
• 문자 수준의 이항형 특징(예: '李娜')을 학습 가능한 임bedding으로 변환하여 국소적 문자 조합 패턴을 포착한다.
• BERT의 히든 표현과 이항형 임베딩을 융합하기 위해 피드포워드 게이트 메커니즘을 활용하여 풍부한 입력 표현을 구성한다.
• 융합된 표현 간의 문맥적 상호작용을 강화하기 위해 다중 헤드 어텐션 레이어를 적용한다.
• CRF를 사용하지 않고도 효율적인 병렬 추론이 가능한 다층 퍼셉트론(MLP) 디코더를 사용해 CWS 레이블(B/M/E/S)을 예측한다.

실험 결과

연구 질문

• RQ1 다중 작업 학습 대비 통합 프레임워크와 BERT를 조합한 모델이 다중 기준 중국어 형태소 분석에서 성능 향상에 기여하는가?
• RQ2 이항형 특징은 희귀어나 OOV 단어의 경우에 특히 얼마나 정확도 향상에 효과적인가?
• RQ3 보조 기준 분류 헤드를 추가함으로써 모델이 다양한 분할 기준 간의 모호함을 해소하는 데 얼마나 효과적인가?
• RQ4 CRF 디코딩 없이도 통합 BERT 기반 모델이 최신 기준 성능을 달성하면서도 높은 효율성을 유지할 수 있는가?
• RQ5 모델은 다양한 분할 기준에 걸쳐 OOV 단어에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 통합 BERT 모델은 여덟 개의 표준 MCCWS 데이터셋에서 모두 새로운 최신 기준 F1 스코어를 기록했으며, 평균 F1은 97.204로 이전 방법들(다중 작업 BERT 및 트랜스포머 기반 통합 모델 포함)을 초월한다.
• 이항형 특징이 없는 모델(‘- Bigram’)의 평균 F1은 97.139로, 이항형 특징이 성능 향상에 기여하고 있음을 보여준다.
• 보조 기준 분류 헤드가 없는 모델(‘- CLS’)의 평균 F1은 97.126로, 보조 작업이 기준 인식 표현 학습을 향상시켜 성능 향상에 기여하고 있음을 시사한다.
• OOV 단어 재현율 측면에서, 완전한 모델은 여덟 데이터셋 중 다섯에서 최고 또는 근접한 최고 성능을 기록하여 희귀어 및 미사전 단어에 대한 강력한 일반화 능력을 입증한다.
• 이전 최고 성능을 기록한 다중 작업 BERT 모델에 비해 평균 F1과 OOV 재현율 모두에서 뛰어난 성능을 보이며, BERT를 활용한 통합 프레임워크의 효과성을 확인한다.
• CRF 디코딩이 없기 때문에 전체 병렬 처리가 가능해 더 빠르고 효율적인 추론이 가능하여 실시간 응용에 적합하다.