[논문 리뷰] Toward Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning

Wěipéng Huáng, Xingyi Cheng외 3명|arXiv (Cornell University)|2019. 03. 11.

Natural Language Processing Techniques참고 문헌 36인용 수 34

한 줄 요약

도메인-특화 및 공유 투영을 갖춘 BERT 기반 다중 기준 중국어 단어 분절 모델을 제안하고, 증류, 양자화, 그리고 컴파일러 최적화를 통해 10개의 데이터셋에서 더 빠른 디코딩으로 SOTA 결과를 달성합니다.

ABSTRACT

The ambiguous annotation criteria lead to divergence of Chinese Word Segmentation (CWS) datasets in various granularities. Multi-criteria Chinese word segmentation aims to capture various annotation criteria among datasets and leverage their common underlying knowledge. In this paper, we propose a domain adaptive segmenter to exploit diverse criteria of various datasets. Our model is based on Bidirectional Encoder Representations from Transformers (BERT), which is responsible for introducing open-domain knowledge. Private and shared projection layers are proposed to capture domain-specific knowledge and common knowledge, respectively. We also optimize computational efficiency via distillation, quantization, and compiler optimization. Experiments show that our segmenter outperforms the previous state of the art (SOTA) models on 10 CWS datasets with superior efficiency.

연구 동기 및 목표

• 여러 CWS 데이터셋에 걸친 다양한 분절 기준을 포착하고 그들의 공유 지식을 활용합니다.
• CWS를 위해 BERT를 통해 오픈 도메인 지식을 통합합니다.
• 도메인 특화 지식과 공유 지식을 투영 계층을 통해 구분하여 다중 기준 학습을 향상시킵니다.
• 증류, 양자화 및 컴파일러 최적화를 통해 추론 속도를 가속화합니다.

제안 방법

• 입력 중국어 문자에 대한 특징 추출기로 BERT를 사용합니다.
• CRF 앞에 도메인 투영 계층을 추가하여 데이터셋 특화 기준을 모델링하고 공통 지식을 위한 공유 투영 계층을 둡니다.
• 도메인 특화 표현과 공유 표현을 연결하고 1차 CRF로 태그 추론(B/M/E/S)을 제공합니다.
• 모든 데이터셋에 대해 공동 목적함수로 학습하여 다중 기준 학습을 가능하게 합니다.
• 12-layer 교사 BERT로부터 3 또는 6 계층의 작은 학생 트랜스포머로 지식을 증류하고 분절 손실과 증류 손실을 결합한 손실로 학습합니다.
• 선정된 구성요소에 대해 속도를 위한 FP16 양자화를 적용하고 XLA 컴파일러 최적화를 사용하여 연산을 융합하고 실행 속도를 높입니다.

실험 결과

연구 질문

• RQ1 도메인 특화 및 공유 투영을 갖춘 다중 기준 학습이 서로 다른 주석 세분성을 가진 이질적인 데이터셋 전반의 CWS를 개선할 수 있을까요?
• RQ2 백본으로 BERT를 활용하는 것이 기존의 신경 모델과 비교해 CWS에서 상당한 이점을 제공합니까?
• RQ3 실제에서 증류, 양자화 및 컴파일러 최적화가 정확도와 디코딩 속도에 얼마나 영향을 미칩니까?
• RQ4 이 설정에서 정확도와 효율성 간의 균형을 위한 최적의 트랜스포머 층 수는 얼마입니까?

주요 결과

• 제안된 모델은 10개의 CWS 데이터셋에서 이전 SOTA를 능가합니다.
• 다중 기준 학습은 도메인 투영 계층이 있는 경우 단일 기준 학습 대비 일관된 F1 향상을 제공하며(평균 +2.3% F1, +9.4% OOV recall).
• 3-layer 학생 Transformer를 사용하고(12-layer 교사로부터의 증류 포함) 정확도와 속도 사이에 우호적인 균형을 달성합니다(12-layer 교사 대비 평균 하락이 작음).
• 양자화(FP16) 및 컴파일러 최적화(XLA)은 정확도 손실이 무시할 만큼의 작은 영향으로 디코딩 속도를 더욱 높여 SOTA 성능을 유지합니다.
• 다중 기준 학습을 사용할 때 데이터셋 전반에서 OOV recall이 크게 향상됩니다(예: 여러 데이터셋에서 최대 약 9-10 포인트 개선).
• 시각화 분석은 BERT의 중간 계층들이 CWS와 가장 관련된 정보를 제공함을 시사하며 이는 구문 지식에 관한 언어학적 발견과 일치합니다.