[논문 리뷰] FGN: Fusion Glyph Network for Chinese Named Entity Recognition

Zhenyu Xuan, Rui Bao외 1명|arXiv (Cornell University)|2020. 01. 15.

Topic Modeling참고 문헌 20인용 수 10

한 줄 요약

FGN은 중국어 명명된 실체 인식을 위한 새로운 융합 글리프 네트워크로, 고유한 CGS-CNN와 슬라이딩 윈도우 기반의 슬라이스 어텐션 메커니즘을 통해 자소 수준의 시각적 특징과 문맥 기반 BERT 표현을 융합한다. 슬라이딩 윈도우를 통해 문자 수준의 글리프 패턴과 문맥 임베딩을 융합함으로써, FGN은 네 개의 중국어 NER 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, NLP에서 명시적인 글리프 모델링의 가치를 입증한다.

ABSTRACT

Chinese NER is a challenging task. As pictographs, Chinese characters contain latent glyph information, which is often overlooked. In this paper, we propose the FGN, Fusion Glyph Network for Chinese NER. Except for adding glyph information, this method may also add extra interactive information with the fusion mechanism. The major innovations of FGN include: (1) a novel CNN structure called CGS-CNN is proposed to capture both glyph information and interactive information between glyphs from neighboring characters. (2) we provide a method with sliding window and Slice-Attention to fuse the BERT representation and glyph representation for a character, which may capture potential interactive knowledge between context and glyph. Experiments are conducted on four NER datasets, showing that FGN with LSTM-CRF as tagger achieves new state-of-the-arts performance for Chinese NER. Further, more experiments are conducted to investigate the influences of various components and settings in FGN.

연구 동기 및 목표

• 중국어 문자에서 시각적 글리프 정보가 충분히 활용되지 않는 문제를 해결하기 위해.
• 이웃하는 문자들의 글리프 구조 간의 상호작용을 명시적으로 모델링하여 문맥 표현을 향상시키기 위해.
• 학습 가능한 융합 메커니즘을 통해 BERT의 문맥 임베딩과 저수준의 글리프 특징을 융합하기 위해.
• 순수한 언어적 맥락을 초월하여 시각적 글리프 패턴이 중국어 NER에 의미 있고 보완적인 신호를 제공한다는 것을 입증하기 위해.

제안 방법

• 이웃하는 문자들로부터 국소적 글리프 특징과 문자 간 상호작용 패턴을 추출할 수 있도록 설계된 새로운 CNN 아키텍처인 CGS-CNN을 제안한다.
• 문맥적 의존성을 유지하면서도 공간적 글리프 구조를 보존하는 슬라이딩 윈도우 메커니즘을 도입한다.
• 문자 수준에서 BERT 기반의 문맥 표현과 글리프 표현을 동적으로 융합하기 위해 슬라이스 어텐션 모듈을 활용한다.
• CRF 레이어 이전에 글리프 특징과 문맥 특징을 융합하여 시퀀스 레이블링을 정밀하게 개선하기 위해 후기 융합 전략을 적용한다.
• 시각적 신호와 언어적 신호를 계층적으로 통합할 수 있도록 복수의 레이어에 걸쳐 융합 메커니즘을 적용한다.
• 교차 엔트로피 손실과 CRF 디코딩을 사용하여 시퀀스 수준 최적화를 위한 모델 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 명시적인 중국어 문자 글리프 모델링이 기존의 BERT 기반 모델을 초월해 중국어 NER 성능 향상에 기여할 수 있는가?
• RQ2 이웃하는 문자들의 글리프 특징 간의 상호작용 모델링이 실체 인식 성능 향상에 얼마나 효과적인가?
• RQ3 중국어 NER에서 BERT 기반 문맥 표현과 융합될 때 글리프 수준의 특징이 기여하는 바는 무엇인가?
• RQ4 다양한 융합 전략(예: 어텐션 vs. 연결)이 최종 성능에 미치는 영향은 어떠한가?
• RQ5 윈도우 크기와 어텐션 메커니즘의 변화가 국소 글리프-맥락 상호작용을 포착하는 데 모델의 능력에 미치는 영향은 무엇인가?

주요 결과

• FGN은 네 개의 주요 중국어 NER 데이터셋에서 새로운 최신 기술 수준 성능을 달성하며, 이전의 SOTA 모델을 모두 능가한다.
• CGS-CNN를 통한 글리프 특징 융합이 네 개의 데이터셋 전반에서 일관된 성능 향상을 이끌어내어, 시각적 패턴의 가치를 확인한다.
• 슬라이스 어텐션 메커니즘이 BERT와 글리프 표현을 효과적으로 융합하며, 추론 실험 결과에서 성능 향상에 기여하는 핵심 요소로 확인된다.
• 슬라이딩 윈도우 메커니즘이 국소 맥락 모델링을 향상시켜, 복잡하거나 희귀한 문자의 경우 특히 유리하다.
• 추론 실험 결과, CGS-CNN와 융합 메커니즘이 모두 필수적인 구성 요소임을 확인하였으며, 둘 중 하나를 제거하면 성능이 급격히 저하된다.
• 글리프 특징에서 유도되는 인덕티브 바이어스 덕분에 희귀 및 OOV(어휘 외 단어) 실체를 포함한 다양한 실체 유형에 대해 뛰어난 강건성을 보인다.