[논문 리뷰] Self-attention-based BiGRU and capsule network for named entity recognition

Jianfeng Deng, Lianglun Cheng외 1명|arXiv (Cornell University)|2020. 01. 30.

Topic Modeling참고 문헌 33인용 수 13

한 줄 요약

이 논문은 중국어 명명된 실체 인식(NER)을 위해 BERT, 양방향 GRU(BiGRU), 자기주의 주의(self-attention), 및 캡슐 네트워크(CapsNet)를 통합한 B-SABCN 모델을 제안한다. 맥락 기반 BERT 임베딩을 활용하고, BiGRU를 통해 시퀀스 모델링을 수행하며, 자기주의 주의를 통해 중요한 특징을 강조하고, CapsNet을 통해 계층적 실체 분류를 수행함으로써, 외부 지식 없이도 두 개의 중국어 NER 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. MSRA 데이터셋에서는 F1 스코어 94.97%, 당뇨병 데이터셋에서는 78.16%를 기록한다.

ABSTRACT

Named entity recognition(NER) is one of the tasks of natural language processing(NLP). In view of the problem that the traditional character representation ability is weak and the neural network method is unable to capture the important sequence information. An self-attention-based bidirectional gated recurrent unit(BiGRU) and capsule network(CapsNet) for NER is proposed. This model generates character vectors through bidirectional encoder representation of transformers(BERT) pre-trained model. BiGRU is used to capture sequence context features, and self-attention mechanism is proposed to give different focus on the information captured by hidden layer of BiGRU. Finally, we propose to use CapsNet for entity recognition. We evaluated the recognition performance of the model on two datasets. Experimental results show that the model has better performance without relying on external dictionary information.

연구 동기 및 목표

• 기존의 문자 수준 표현 방식과 RNN 기반 모델이 중국어 NER에서 장거리 의존성과 중요한 맥락적 특징을 포착하는 데 한계를 가진다는 문제를 해결하기 위해.
• BiGRU에서 유의미한 숨겨진 특징을 동적으로 가중치를 매기기 위해 자기주의 주의를 통합함으로써 실체 인식 정확도를 향상시키기 위해.
• 스칼라 출력 대신 벡터 기반 캡슐 네트워크를 도입하여 실체 특징 간의 공간적 관계를 유지함으로써 분류의 강건성을 향상시키기 위해.
• 외부 사전이나 언어 자원에 의존하지 않고 일반 도메인 및 도메인 특화 중국어 NER 데이터셋에서 모델의 성능을 평가하기 위해.

제안 방법

• 맥락 기반 BERT 사전 학습 언어 모델을 사용하여 맥락에 기반한 문자 수준 임베딩을 생성함으로써, 정적 word2vec보다 더 우수한 의미 표현을 향상시킴.
• 입력 시퀀스의 이중 방향 장거리 의존성을 포착하기 위해 이중 방향 게이트형 순환 단위(BiGRU)를 활용함.
• BiGRU의 은닉 상태에 자기주의 주의 메커니즘을 도입하여 특징에 동적 가중치를 할당함으로써, 정보가 풍부한 토큰을 강조하고 비실체 단어에서 유도되는 노이즈를 감소시킴.
• 캡슐 네트워크(CapsNet)를 적용하여 실체 특징 간의 계층적 관계를 모델링함. 여기서 캡슐 출력은 실체 유형의 확률 및 인스턴스 파라미터를 나타냄.
• CRF와 함께 CapsNet의 출력을 조합하여 시퀀스 레이블링을 수행함으로써 일관된 실체 경계 예측을 보장함.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드 모델을 훈련하고, 표준 최적화 기법을 사용하여 하류 NER 작업에서 미세 조정함.

실험 결과

연구 질문

• RQ1 BERT 임베딩을 사용한 자기주의 주의 강화 BiGRU는 중국어 NER에서 맥락적 특징 표현을 향상시킬 수 있는가?
• RQ2 전통적인 스칼라 기반 분류 방식과 비교할 때, 캡슐 네트워크 통합은 실체 관계 모델링 및 인식 정확도 향상에 어떤 영향을 미치는가?
• RQ3 자기주의 주의 메커니즘이 시퀀스 레이블링에서 반복적인 비실체 단어의 영향을 어느 정도 감소시키는가?
• RQ4 제안된 B-SABCN 모델은 외부 지식 없이도 일반 및 도메인 특화 중국어 NER 벤치마크에서 기존 SOTA 방법을 초월하는가?
• RQ5 BERT, 자기주의 주의, CapsNet 구성 요소 각각이 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• B-SABCN 모델은 MSRA 중국어 NER 데이터셋에서 F1 스코어 94.97%를 기록하여, BiLSTM-CRF 기준선 대비 6个百分点 향상되었다.
• 도메인 특화된 당뇨병 데이터셋에서는 F1 스코어 78.16%를 기록하여, BiLSTM-CRF 모델 대비 6.12个百分点 향상되었고, CNN-BiLSTM-CRF 모델 대비 1.84个百分点 향상되었다.
• 제거 실험 결과, BERT 임베딩이 가장 크게 기여함을 확인하였으며, 다의어 처리와 맥락 처리 능력 향상으로 인해 word2vec 기반 입력 대비 F1 스코어가 4个百分点 향상됨.
• 자기주의 주의 메커니즘은 MSRA에서 F1 스코어 0.3% 향상, 당뇨병 데이터셋에서는 0.4% 향상되었으며, 이는 불필요한 특징을 걸러내고 핵심 토큰에 대한 주의를 강화하는 데 효과적임을 보여줌.
• 스칼라 출력을 캡슐 기반 표현으로 대체함으로써 MSRA에서는 F1 스코어 0.16% 향상, 당뇨병 데이터셋에서는 0.11% 향상되었으며, 이는 벡터 기반 분류가 더 많은 분류 정보를 유지함을 시사함.
• BERT, 자기주의 주의, CapsNet을 모두 통합한 전체 B-SABCN 모델은 두 데이터셋에서 최고의 성능을 기록하였으며, 모든 구성 요소 간의 상호 보완적 상호작용이 NER 정확도 향상에 기여함을 검증함.