[논문 리뷰] Glyce: Glyph-vectors for Chinese Character Representations

Yuxian Meng, Wei Wu외 8명|arXiv (Cornell University)|2019. 01. 29.

Natural Language Processing Techniques참고 문헌 70인용 수 147

한 줄 요약

Glyce는 역사적 중국어 스크립트와 특수한 Tianzige-CNN을 사용하고 보조 이미지 분류 목표 및 BERT와의 선택적 통합을 결합해 다수의 중국어 NLP 태스크에서 최첨단 결과를 달성하는 글리프 기반 문자 표현을 도입한다.

ABSTRACT

It is intuitive that NLP tasks for logographic languages like Chinese should benefit from the use of the glyph information in those languages. However, due to the lack of rich pictographic evidence in glyphs and the weak generalization ability of standard computer vision models on character data, an effective way to utilize the glyph information remains to be found. In this paper, we address this gap by presenting Glyce, the glyph-vectors for Chinese character representations. We make three major innovations: (1) We use historical Chinese scripts (e.g., bronzeware script, seal script, traditional Chinese, etc) to enrich the pictographic evidence in characters; (2) We design CNN structures (called tianzege-CNN) tailored to Chinese character image processing; and (3) We use image-classification as an auxiliary task in a multi-task learning setup to increase the model's ability to generalize. We show that glyph-based models are able to consistently outperform word/char ID-based models in a wide range of Chinese NLP tasks. We are able to set new state-of-the-art results for a variety of Chinese NLP tasks, including tagging (NER, CWS, POS), sentence pair classification, single sentence classification tasks, dependency parsing, and semantic role labeling. For example, the proposed model achieves an F1 score of 80.6 on the OntoNotes dataset of NER, +1.5 over BERT; it achieves an almost perfect accuracy of 99.8\% on the Fudan corpus for text classification. Code found at https://github.com/ShannonAI/glyce.

연구 동기 및 목표

• 로그자 Chinese NLP 태스크를 위한 그림 문자 기반 정보의 활용 동기 부여.
• 다중 스크립트의 중국 문자 이미지를 통해 파생된 Glyph 임베딩을 제안: Glyce.
• 소형 문자 이미지 및 여러 스크립트에 맞춘 CNN 아키텍처(Tianzige-CNN) 개발.
• 다중 작업 설정에서 보조 이미지 분류 목표를 통한 일반화 향상.
• 태깅, 분류, 구문 분석, SRL 태스크에서 최첨단 성능 시연 및 BERT와의 잠재적 통합 가능성.

제안 방법

• 중국어 문자를 이미지로 표현하고 소형 문자 이미지 및 군 합성으로 과적합을 줄이는 Tianzige-CNN(田字格)을 사용해 글리프 임베딩을 추출한다.
• 동일하게 작동하는 역사적 스크립트(청동기문, 도장본, 금문, 전통체, 초서체 등)와 여러 글쓰기 스타일의 앙상블을 사용해 글리프 신호를 강화한다.
• 문자 ID를 예측하기 위한 이미지 분류 보조 목표를 적용하고 학습 동안 가중치를 감소시켜 일반화를 향상시킨다.
• 원한다면 Glyce-BERT 파이프라인을 구축해 글리프 출력이 BERT 표현과 융합되고 트랜스포머 계층으로 처리되도록 하여 BERT와의 통합을 시도한다.
• 다운스트림 태스크에 대해 연결된 글리프 및 BERT 임베딩을 사용하고, 이후 태스크별 출력층(주로 트랜스포머)을 적용한다(시퀀스 라벨링, 단일/문장 페어 분류, 구문 분석, SRL).
• 비-BERT 기준선, BERT 및 기타 최첨단 모델과 비교하기 위해 다양한 중국어 NLP 태스크에서 평가한다.

실험 결과

연구 질문

• RQ1 역사적 중국어 스크립트에서 파생된 글리프 기반 표현이 기존의 문자/단어 임베딩과 비교해 다운스트림 NLP 태스크의 성능을 개선할 수 있는가?
• RQ2 소형 문자 이미지에 대해 표준 CNN보다 특화된 Tianzige-CNN 아키텍처가 글리프 정보를 더 잘 포착하는가?
• RQ3 이미지 분류 목표를 포함한 다중 작업 학습이 글리프 임베딩의 일반화를 개선하는가?
• RQ4 glyce-BERT 통합이 태깅, 분류, 구문 분석, SRL 태스크에서 최첨단 결과를 내는가?
• RQ5 glyce 표현을 사용할 때 학습 전략과 CNN 아키텍처가 성능에 미치는 영향은 무엇인가?

주요 결과

• Glyce+BERT는 다수의 데이터셋과 태스크에서 최첨단 결과를 달성하며, 종종 단독 BERT를 능가한다(예: Table 2의 NER OntoNotes F1 81.63 대 BERT의 79.16).
• Glyce 기반 모델은 CWS, POS, NER 데이터셋에서 강력한 성과를 보이며 Glyce+BERT가 일반적으로 테스트 구성 중 최상의 성능을 제공한다.
• 문장 쌍 분류에서 Glyce+BERT는 BQ, LCQMC, XNLI, NLPCC-DBQA 벤치마크에서 새로운 SOTA를 달성한다(Table 5).
• 단일 문장 분류에서 Glyce+BERT는 푸단(Fudan) 코퍼스에서 거의 완벽한 정확도(99.8%)를 달성하고 ChnSentiCorp, 푸단 코퍼스, iFeng에서 LSTM/Glyce 베이스라인을 상회한다(Table 6).
• 의존 구문 분석에서 Glyce-워드가 이전 SOTA 모델 대비 UAS/LAS를 약 0.8–0.9 포인트 향상시킨다(Table 7).
• SRL에서 Glyce와 k-order 가지치기 백본은 현재 SOTA 대비 +0.8 F1(83.7 F1, Table 7)을 달성한다.
• 제약 연구는 아래를 시사한다: (i) BERT-glyce-공동 전략이 다른 전략보다 우수; (ii) 트랜스포머 기반의 태스크-특정 출력이 BiLSTM/CNN/BiMPM보다 우수; (iii) 이미지 분류 보조 목표가 대략 +0.8의 성능 향상을 추가; (iv) Tianzige-CNN 구조가 일반 CNN 대비 +1.0 F1의 주목할 만한 향상을 제공(Table 8–11).