[논문 리뷰] Chinese NER Using Lattice LSTM

Yue Zhang, Jie Yang|arXiv (Cornell University)|2018. 05. 05.

Topic Modeling참고 문헌 45인용 수 33

한 줄 요약

이 논문은 대규모 어휘집에서 유망한 단어 경로를 모두 포함하는 레이티스 구조를 가진 LSTM-CRF 모델을 제안하여 중국어 NER에서 분할 오류를 방지하면서도 문자 및 단어 수준의 정보를 모두 활용한다. 이 모델은 게이트된 순환 단위를 통해 관련된 단어 및 문자 경로를 동적으로 라우팅함으로써 여러 데이터셋에서 최신 기술 수준의 성능을 달성한다. 문자 기반 및 단어 기반 베이스라인을 모두 능가한다.

ABSTRACT

We investigate a lattice-structured LSTM model for Chinese NER, which encodes a sequence of input characters as well as all potential words that match a lexicon. Compared with character-based methods, our model explicitly leverages word and word sequence information. Compared with word-based methods, lattice LSTM does not suffer from segmentation errors. Gated recurrent cells allow our model to choose the most relevant characters and words from a sentence for better NER results. Experiments on various datasets show that lattice LSTM outperforms both word-based and character-based LSTM baselines, achieving the best results.

연구 동기 및 목표

• 특히 분할 오류 전파 문제로 인해 제한되는 단어 기반 및 문자 기반 접근 방식의 한계를 해결한다.
• 명시적인 단어 및 단어 시퀀스 정보를 활용하여 문맥 내에서 명명된 엔티티의 의미 해석을 향상시킨다.
• 사전에 분할된 텍스트에 의존하지 않고 어휘집에서 유도된 단어를 시퀀스 레이블링에 통합하는 신경망 모델을 개발한다.
• 레이티스 구조를 가진 LSTM이 문자 수준 및 단어 수준 표현 간의 균형을 효과적으로 유지하여 NER 성능을 향상시킬 수 있음을 보여준다.
• 모델이 문장 길이에 대해 강건하며 다양한 도메인과 데이터셋에서 기존의 베이스라인을 능가함을 입증한다.

제안 방법

• 대규모 자동 추출된 어휘집과 입력 문장을 대조하여 모든 잠재적 단어 경계를 포함하는 단어-문자 레이티스를 구축한다.
• 게이트된 순환 단위를 갖춘 레이티스 구조를 가진 LSTM을 사용하여 다중 경로(문자 및 단어 시퀀스)에서 관련 정보를 동적으로 선택하고 네트워크 내에서 라우팅한다.
• 명명된 엔티티 경계 및 유형에 대한 공동 시퀀스 레이블링을 위해 레이티스 LSTM을 CRF 레이어와 통합한다.
• NER 데이터를 엔드 투 엔드로 훈련시켜 모델이 엔티티 인식에 가장 유용한 단어 및 문자 시퀀스를 학습하도록 한다.
• 대규모로 사전에 분할된 코퍼스에서 사전 학습된 단어 임베딩을 활용하여 어휘집을 풍부하게 하고 표현 학습을 향상시킨다.
• 짧은 문장과 긴 문장에 모두 모델을 적용하여 시퀀스 길이 증가 및 복잡성 증가에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 사전에 분할된 텍스트에 의존하지 않고도 레이티스 구조를 가진 LSTM 모델이 중국어 NER에서 단어 수준 및 문자 수준 표현을 효과적으로 통합할 수 있는가?
• RQ2 레이티스 LSTM 모델은 다양한 문장 길이 및 도메인에서 문자 기반 및 단어 기반 베이스라인과 비교해 어떤 NER 성능을 보이는가?
• RQ3 어휘집에서 관련된 단어를 동적으로 선택할 수 있는 능력이 명명된 엔티티의 의미 해석을 얼마나 향상시키는가?
• RQ4 레이티스 구조는 파ipeline 방식의 단어 분할 기반 NER 시스템에 비해 분할 오류 전파를 얼마나 효과적으로 완화하는가?
• RQ5 어휘집에 노이즈 또는 관련 없는 단어가 포함되어 있을 경우 모델은 어떻게 성능을 보이며, 훈련 과정에서 이를 무시할 수 있는가?

주요 결과

• 레이티스 LSTM 모델은 OntoNotes, MSRA, Weibo, 레sume 데이터 등 평가된 모든 데이터셋에서 문자 기반 및 단어 기반 LSTM-CRF 베이스라인을 뛰어넘는 성능을 보였다.
• OntoNotes 테스트 세트에서 레이티스 모델은 최고의 문자 기반 베이스라인 대비 7.34%의 오류 감소를 기록하여 복잡한 오픈 도메인 환경에서도 뛰어난 성능을 보였다.
• MSRA 데이터셋에서 레이티스 모델은 문자 기반 베이스라인 대비 16.11%의 오류 감소를 기록하여 도메인 특화 NER 작업에서의 효과성을 입증했다.
• 레이티스 모델은 단어+문자+이중문자 및 문자+이중문자+소프트단어 베이스라인 대비 문장 길이 증가에 더 강건한 성능을 보였으며, 장거리 의존성과 단어 조합 복잡성 처리 능력이 뛰어나다는 것을 시사한다.
• 사례 연구에서 레이티스 모델은 '东莞台协' (동관 타이완 협회)를 조직으로 정확히 식별했지만, 단어+문자+이중문자 및 문자+이중문자+소프트단어 모델은 분할 오류 또는 문법적으로 부적절한 출력으로 실패했다.
• 모델의 성능은 어휘집 내 일치하는 명명된 엔티티 비율과 상관관계가 있으며, 고품질의 어휘집이 성능 향상에 기여하지만, 모델은 훈련 과정에서 노이즈 단어를 무시할 수 있음을 시사한다.