[논문 리뷰] BERT Meets Chinese Word Segmentation

Haiqin Yang|arXiv (Cornell University)|2019. 09. 20.

Topic Modeling참고 문헌 20인용 수 12

한 줄 요약

이 논문은 BERT를 중국어 형태소 분석(CWS)에 적용하는 것을 조사하며, 기준 모델 대비 MSR에서 +0.3, PKU에서 +0.4의 F1 점수 향상을 보여준다. BERT의 문맥적 특징은 레이블 불일치 상황에서도 강건함을 입증하며, 더 단순한 분류기인 Softmax가 CRF에 비해 훨씬 낮은 계산 비용으로 동일한 성능을 달성함을 보여준다.

ABSTRACT

Chinese word segmentation (CWS) is a fundamental task for Chinese language understanding. Recently, neural network-based models have attained superior performance in solving the in-domain CWS task. Last year, Bidirectional Encoder Representation from Transformers (BERT), a new language representation model, has been proposed as a backbone model for many natural language tasks and redefined the corresponding performance. The excellent performance of BERT motivates us to apply it to solve the CWS task. By conducting intensive experiments in the benchmark datasets from the second International Chinese Word Segmentation Bake-off, we obtain several keen observations. BERT can slightly improve the performance even when the datasets contain the issue of labeling inconsistency. When applying sufficiently learned features, Softmax, a simpler classifier, can attain the same performance as that of a more complicated classifier, e.g., Conditional Random Field (CRF). The performance of BERT usually increases as the model size increases. The features extracted by BERT can be also applied as good candidates for other neural network models.

연구 동기 및 목표

• BERT가 중국어 형태소 분석(CWS)이라는 핵심 자연어 처리 작업에서 성능 향상에 기여할 수 있는지 평가하는 것.
• BERT 특징을 사용할 때 문자 수준 표현과 다양한 분류기(예: Softmax 대비 CRF) 간의 성능 상호 간의 트레이드오프를 조사하는 것.
• BERT 모델 크기가 CWS 성능에 어떤 영향을 미치는지 분석하는 것.
• BERT로 추출한 특징이 다른 신경망 기반 CWS 모델에 ELMo와 유사한 표현으로 효과적으로 활용될 수 있는지 평가하는 것.
• 비디오나 문장에서의 관용어 표현에 대한 BERT 예측을 통해 기준 데이터셋의 레이블 불일치를 식별하고 분석하는 것.

제안 방법

• 도메인 특화 CWS 데이터셋(MSR 및 PKU)에 BERT를 피지테이닝하여 문맥적 토큰 표현을 추출하는 것.
• BERT의 최종 히든 상태를 후속 CWS 분류기의 입력 특징으로 사용하며, 전통적인 문자 임베딩을 대체하는 것.
• BERT 임베딩 특징에 대해 Softmax와 조건부 랜덤 필드(CRF)의 성능을 비교하는 것.
• 다양한 크기의 BERT 모델(기본형, 대형)을 훈련 및 평가하여 모델 용량이 CWS 정확도에 미치는 영향을 분석하는 것.
• 다른 신경망 기반 CWS 아키텍처에 BERT 특징을 사전 학습된 문맥 표현으로 적용하여 이들의 이식 가능성 테스트하는 것.
• 관용어 표현에서의 예측 오류를 분석하여 훈련 및 테스트 세트의 레이블 표기 불일치를 파악하는 것.

실험 결과

연구 질문

• RQ1 레이블 불일치가 있는 훈련 데이터 상황에서도 BERT가 중국어 형태소 분석 작업의 성능 향상에 기여할 수 있는가?
• RQ2 BERT 특징과 함께 Softmax와 CRF를 사용할 경우, 성능과 계산 비용 간의 트레이드오프는 어떠한가?
• RQ3 BERT 모델의 크기가 CWS 기준 성능에 어떤 영향을 미치는가?
• RQ4 BERT로 추출한 특징은 ELMo와 유사하게 다른 신경망 기반 CWS 모델에 효과적으로 재사용될 수 있는가?
• RQ5 BERT 예측은 특히 관용어 표현에 대해 기준 데이터셋의 레이블 표기 불일치를 어느 정도 드러내는가?

주요 결과

• Softmax를 분류기로 사용할 경우, MSR 데이터셋에서 +0.3 F1 점수 향상, PKU 데이터셋에서 +0.4 F1 점수 향상이 이루어짐.
• 충분히 학습된 BERT 특징과 함께 사용할 경우, Softmax는 CRF와 동일한 성능를 달성하지만, 유의미하게 낮은 추론 시간을 기록함.
• 더 큰 BERT 모델은 일관되게 더 높은 CWS 성능를 보이며, 모델 크기와 분할 정확도 사이에 양의 상관관계가 있음을 시사함.
• BERT로 추출한 특징는 효과적인 문맥 표현으로서 기능하며, 다른 신경망 기반 CWS 모델에 성공적으로 재사용 가능함을 입증함.
• BERT 예측은 PKU 데이터셋의 레이블 불일치를 드러내며, 특히 "은장소곽" 및 "중요치각"과 같은 관용어 표현에서 훈련 세트와 테스트 세트 간의 어절 경계 표기에서 의견 불일치가 있음.
• OOV(어휘에 없는 토큰)와 다국어 문장 처리에서 어려움을 겪으며, 희귀 문자 및 혼합 스크립트 입력 처리에 한계가 있음을 시사함.