[논문 리뷰] Using Chinese Glyphs for Named Entity Recognition

Arijit Sehanobish, Chan Hee Song|arXiv (Cornell University)|2019. 09. 22.

Topic Modeling참고 문헌 30인용 수 6

한 줄 요약

이 논문은 흑체 폰트로 구성된 4,500개의 회색조 64×64 문자를 사용하여 중국어 문자(한자)의 시각적 특징을 의미적 단서로 활용함으로써, 중국어 명명된 실체 인식(NER) 성능을 향상시키는 새로운 CNN 기반 접근법을 제안한다. 이 방법은 외부 자료(예: 사전, 품사 태깅)에 의존하지 않으며, 비중국어 문자에 대해서도 강건하고, 극히 적은 수의 문자 데이터로도 효과를 발휘한다. Weibo 데이터셋에서 F1 스코어 71.81, MSRA 데이터셋에서 96.49를 기록하여 BERT-BiLSTM-CRF 기준선 대비 최대 +0.72 F1 향상되었으며, 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Most Named Entity Recognition (NER) systems use additional features like part-of-speech (POS) tags, shallow parsing, gazetteers, etc. Such kind of information requires external knowledge like unlabeled texts and trained taggers. Adding these features to NER systems have been shown to have a positive impact. However, sometimes creating gazetteers or taggers can take a lot of time and may require extensive data cleaning. In this paper for Chinese NER systems, we do not use these traditional features but we use lexicographic features of Chinese characters. Chinese characters are composed of graphical components called radicals and these components often have some semantic indicators. We propose CNN based models that incorporate this semantic information and use them for NER. Our models show an improvement over the baseline BERT-BiLSTM-CRF model. We set a new baseline score for Chinese OntoNotes v5.0 and show an improvement of +.64 F1 score. We present a state-of-the-art F1 score on Weibo dataset of 71.81 and show a competitive improvement of +0.72 over baseline on ResumeNER dataset.

연구 동기 및 목표

• 외부 특징(예: 사전, 품사 태깅)에 의존하지 않고 중국어 NER 성능을 향상시키는 것.
• 중국어 문자 글리프(부수)의 시각적 의미 정보를 저자원, 강건한 특징으로 활용해 볼 수 있는지 탐색하는 것.
• 글리프 인코딩을 이미지 분류 문제로 간주하여, 학습 효율이 높고 쉽게 구현 가능한 모델을 개발하는 것.
• 영어 대문자나 OOV(표준 외) 문자와 같은 노이즈가 있는 입력에 대해 모델의 강건성을 평가하는 것.
• 최소한의 글리프 데이터로 주요 중국어 NER 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 모델은 '스트라이드'와 'GLYNN'이라는 두 가지 CNN 아키텍처를 사용하여 중국어 문자 글리프를 시각적 특징으로 인코딩하며, 글리프 표현을 컴퓨터 비전 문제로 간주한다.
• 글리프 이미지는 4,500개의 흑체 폰트로 구성된 64×64 회색조 문자의 딕셔너리를 사용해 UTF-8 코드포인트에서 추출된다.
• CNN로 학습된 글리프 특징은 고정된 중국어 BERT 임베딩의 마지막 네 개층과 결합되어 향상된 문자 수준의 표현을 형성한다.
• 이러한 통합된 임베딩은 엔드 투 엔드로 학습되며 BERT가 고정된 BiLSTM-CRF 디코더에 입력된다.
• GLYNN 모델의 사전 학습을 위해 오토에코더가 사용되며, 이는 개발 및 테스트 세트에서 성능 향상과 분산 감소에 기여한다.
• 시스템은 OntoNotes v5.0, Weibo, ResumeNER, MSRA 데이터셋에서 평가되며, 학습률, 드롭아웃, 학습 에포크 수에 대한 분석 연구도 수행된다.

실험 결과

연구 질문

• RQ1 중국어 문자 글리프에서 유도된 시각적 특징이 외부 언어학적 특징에 의존하지 않고도 NER 성능 향상에 기여할 수 있는가?
• RQ2 표준 중국어 NER 벤치마크에서 글리프 보강된 NER 모델의 성능이 강력한 BERT-BiLSTM-CRF 기준선과 비교해 어떻게 되는가?
• RQ3 의미가 없는 비중국어 문자(예: 영어 대문자)가 포함된 경우 모델의 강건성은 어느 정도인가?
• RQ4 효과적인 성능를 달성하기 위해 얼마나 많은 글리프 데이터가 필요한가? 그리고 소규모이고 일관된 폰트 세트로도 충분한가?
• RQ5 오토에코더를 통한 글리프 인코더 사전 학습이 NER 성능 향상과 안정성 향상에 측정 가능한 영향을 미치는가?

주요 결과

• 제안된 모델은 Weibo 데이터셋에서 기준선 대비 +0.72 F1 향상된 최신 기술 수준의 F1 스코어 71.81을 기록한다.
• MSRA 데이터셋에서는 SOTA F1 스코어 96.49를 달성하여 대규모 고품질 NER 벤치마크에서 뛰어난 성능을 입증한다.
• 중국어 OntoNotes v5.0에서 기준선 대비 +0.64 F1 향상되었으며, 다양한 데이터셋에서의 일관된 성과를 확인한다.
• 비중국어 문자에 대한 강건성이 입증된다: 영어 대문자나 OOV 문자를 글리프 입력으로 포함시켜도 기준선보다 성능이 뛰어나다.
• 오토에코더 사전 학습 단계는 성능을 약간 향상시키고, 특히 Weibo 및 OntoNotes 데이터셋에서 분산을 감소시킨다.
• 하이퍼파라미터 튜닝 결과, Weibo 및 OntoNotes에서는 30 에포크가 최적의 성능를 내며, ResumeNER에서는 20 에포크가 최적이다. 30 에포크를 초과해 학습할 경우 성능 저하가 발생한다.