[논문 리뷰] CAN-NER: Convolutional Attention Network for Chinese Named Entity Recognition

Yuying Zhu, Guoxin Wang외 1명|arXiv (Cornell University)|2019. 04. 03.

Topic Modeling참고 문헌 43인용 수 68

한 줄 요약

CAN-NER은 문자 기반 CNN과 로컬 컨볼루션 주의 층, 그리고 글로벌 self-attention 층을 갖춘 BiGRU-CRF를 활용하여 word embedding이나 외부 어휘 없이 중국어 NER을 수행하고, 여러 도메인에서 최첨단 성과를 달성합니다.

ABSTRACT

Named entity recognition (NER) in Chinese is essential but difficult because of the lack of natural delimiters. Therefore, Chinese Word Segmentation (CWS) is usually considered as the first step for Chinese NER. However, models based on word-level embeddings and lexicon features often suffer from segmentation errors and out-of-vocabulary (OOV) words. In this paper, we investigate a Convolutional Attention Network called CAN for Chinese NER, which consists of a character-based convolutional neural network (CNN) with local-attention layer and a gated recurrent unit (GRU) with global self-attention layer to capture the information from adjacent characters and sentence contexts. Also, compared to other models, not depending on any external resources like lexicons and employing small size of char embeddings make our model more practical. Extensive experimental results show that our approach outperforms state-of-the-art methods without word embedding and external lexicon resources on different domain datasets including Weibo, MSRA and Chinese Resume NER dataset.

연구 동기 및 목표

• 단어 분절, 임베딩 또는 어휘에 의존하지 않는 강건한 중국어 NER를 목표로 합니다.
• 지역적 맥락과 장기 의존성을 포착하는 문자 수준 모델을 개발합니다.
• 로컬 문자 관계를 강화하기 위한 합성곱 주의 메커니즘을 통합합니다.
• 문장 수준의 맥락을 모델링하기 위한 글로벌 self-attention 계층을 도입합니다.
• 외부 자원 없이 다양한 도메인에서의 효과를 입증합니다.

제안 방법

• BiGRU-CRF 백본을 주요 시퀀스 라벨링 프레임워크로 사용합니다.
• 윈도우 내 각 문자 주변의 로컬 컨텍스추얼 정보를 인코딩하기 위해 합성곱 주의 층을 추가합니다.
• CNN의 입력으로 문자 임베딩에 분절 정보(BMES)을 연결합니다.
• 각 윈도우 내에서 로컬 어텐션 가중치를 계산하여 숨겨진 표현(hidden representations)을 형성합니다.
• BiGRU 출력에 대해 글로벌 self-attention 층을 적용하여 장거리 의존성을 포착합니다.
• 디코딩을 위해 결합된 BiGRU와 global-attention 출력 위에 CRF 층으로 마무리합니다.

실험 결과

연구 질문

• RQ1 워드 임베딩이나 어휘 없이 여러 도메인에서 전체 문자 기반 모델이 경쟁력 있는 NER 성능을 달성할 수 있는가?
• RQ2 로컬 합성곱 주의 메커니즘이 표준 CNN에 비해 인근 문자 간 상호작용의 모델링을 개선하는가?
• RQ3 글로벌 self-attention 층이 장거리 문장 의존성을 효과적으로 포착하여 중국어 NER 성능을 향상시키는가?
• RQ4 외부 자원 없이 Weibo, MSRA, Chinese Resume, OntoNotes 데이터셋에서 제안된 CAN-NER의 성능은 최첨단 모델에 비해 어떠한가?

주요 결과

• CAN-NER는 베이스라인을 능가하고 여러 데이터셋에서 문자 기반 모델 중 최신 결과를 달성합니다.
• Convolutional Attention은 로컬 문자 관계를 더 잘 포착함으로써 표준 CNN 특징보다 주목할 만한 개선을 제공합니다.
• BiGRU 출력에 대한 Global self-attention은 일반 BiGRU-CRF의 한계를 넘어 장거리 문장 맥락을 모델링하도록 도와주어 F1 점수를 향상시킵니다.
• 이 모델은 외부 워드 임베딩이나 어휘 자원 없이 작동하여 더 실용적인 NER 솔루션을 제공합니다.
• 결과는 Weibo와 Chinese Resume 데이터셋에서 강력한 성능을 보이고 MSRA와 OntoNotes 데이터셋에서도 경쟁력 있는 결과를 보여줍니다.