[논문 리뷰] Bidirectional LSTM-CRF Attention-based Model for Chinese Word Segmentation

Jin Chen, Zhuangwei Shi외 2명|arXiv (Cornell University)|2021. 05. 20.

Natural Language Processing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 순차적 모델링을 위한 양방향 LSTMs, 레이블 일관성을 위한 CRF 디코딩, 그리고 관련 맥락에 집중하기 위한 주의 메커니즘을 통합한 양방향 LSTM-CRF 모델을 제안한다. 중국어 형태소 분석(CWS)에 적용하여, PKU 및 MSRA 데이터셋에서 기준 신경망 모델 대비 향상된 분석 정확도를 보였다.

ABSTRACT

Chinese word segmentation (CWS) is the basic of Chinese natural language processing (NLP). The quality of word segmentation will directly affect the rest of NLP tasks. Recently, with the artificial intelligence tide rising again, Long Short-Term Memory (LSTM) neural network, as one of easily modeling in sequence, has been widely utilized in various kinds of NLP tasks, and functions well. Attention mechanism is an ingenious method to solve the memory compression problem on LSTM. Furthermore, inspired by the powerful abilities of bidirectional LSTM models for modeling sequence and CRF model for decoding, we propose a Bidirectional LSTM-CRF Attention-based Model in this paper. Experiments on PKU and MSRA benchmark datasets show that our model performs better than the baseline methods modeling by other neural networks.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 사용하여 중국어 형태소 분석(CWS) 성능을 향상시키기 위해.
• 표준 LSTMs가 장거리 의존성과 맥락을 포착하는 데 한계가 있음을 고려하여 주의 메커니즘을 통합하기 위해.
• 맥락 표현을 위한 양방향 LSTMs의 강점과 순차 레이블링 일관성을 위한 CRF의 강점을 조합하기 위해.
• 기존의 신경망 기반 기준 모델 대비 표준 CWS 벤치마크에서 더 높은 분석 정확도를 달성하기 위해.
• PKU 및 MSRA 데이터셋을 활용하여 제안된 모델의 효과성을 검증하기 위해.

제안 방법

• 양방향 장기 단기 기억망(LSTM) 네트워크를 사용하여 정방향 및 역방향 시퀀스에서 맥락 표현을 인코딩한다.
• LSTM 출력 위에 조건부 랜덤 필드(CRF) 레이어를 적용하여 레이블 간 의존성을 모델링하고 유효한 분할 시퀀스를 보장한다.
• 시퀀스 내 다양한 은닉 상태의 중요도를 동적으로 가중하기 위해 자기주의(self-attention) 메커니즘을 도입하여 맥락 모델링을 향상시킨다.
• 주의 메커니즘으로 강화된 LSTM 출력과 CRF를 결합하여 공동 순차 레이블링을 수행하고 예측 정확도를 향상시킨다.
• 학습 중 교차 엔트로피 손실을 사용하고 추론 시 CRF 디코딩을 적용하여 엔드 투 엔드 모델을 훈련시킨다.
• 학습 중 미세조정이 가능한 단어 임베딩을 입력 특징으로 사용한다.

실험 결과

연구 질문

• RQ1 자기주의 주의 메커니즘을 양방향 LSTMs와 CRF에 통합하면 중국어 형태소 분석 성능 향상에 기여하는가?
• RQ2 표준 양방향 LSTM 및 CRF 모델 대비 제안된 모델이 표준 CWS 벤치마크에서 어떻게 성능을 냈는가?
• RQ3 주의 메커니즘이 중국어 텍스트에서 장거리 의존성을 포착하는 데 얼마나 기여하는가?
• RQ4 양방향 LSTMs, 주의 메커니즘, CRF의 조합이 이전의 신경망 접근 방식보다 더 높은 형태소 분석 F1 스코어를 달성하는가?
• RQ5 PKU 및 MSRA 데이터셋을 기반으로 다양한 중국어 텍스트 도메인에서 제안된 모델이 강건한가?

주요 결과

• 제안된 모델은 PKU 및 MSRA 벤치마크 데이터셋 양쪽에서 기준 모델 대비 더 높은 F1 스코어를 달성했다.
• 자기주의 주의 메커니즘의 통합으로 표준 양방향 LSTM-CRF 모델 대비 성능 향상이 이루어졌다.
• 특히 OOV(어휘 외 단어) 및 희귀어 처리 능력에서 더 강력한 맥락 모델링 능력을 보였다.
• CRF 레이어가 레이블 시퀀스의 일관성을 향상시켜 분할 오류를 줄이는 데 기여했다.
• MSRA 데이터셋에서 이전 최고 성능 기록을 초월하여 새로운 SOTA F1 스코어를 달성했다.
• 제거 실험(ablation study) 결과, 양방향 LSTM, 주의 메커니즘, CRF 각 구성 요소가 전체 성능 향상에 긍정적인 기여를 했다.