[논문 리뷰] Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning

Nanyun Peng, Mark Dredze|arXiv (Cornell University)|2016. 03. 02.

Topic Modeling참고 문헌 30인용 수 30

한 줄 요약

이 논문은 중국어 소셜 미디어에서 명명된 엔티티 인식(NER)을 위해 단어 분할 표현을 BiLSTM-CRF 모델과 통합하는 공동 학습 프레임워크를 제안한다. 공유된 은닉 표현을 활용함으로써 성능을 크게 향상시킨다. 이 방법은 분할 모델의 공유 임bedding과 은닉 상태를 사용하여 두 작업을 함께 훈련함으로써, 이전 최고 성능 결과 대비 명목 언급에서 5.3% 절대 F1 향상, 명칭 언급에서 4.3% 향상 달성한다.

ABSTRACT

Named entity recognition, and other information extraction tasks, frequently use linguistic features such as part of speech tags or chunkings. For languages where word boundaries are not readily identified in text, word segmentation is a key first step to generating features for an NER system. While using word boundary tags as features are helpful, the signals that aid in identifying these boundaries may provide richer information for an NER system. New state-of-the-art word segmentation systems use neural models to learn representations for predicting word boundaries. We show that these same representations, jointly trained with an NER system, yield significant improvements in NER for Chinese social media. In our experiments, jointly training NER and word segmentation with an LSTM-CRF model yields nearly 5% absolute improvement over previously published results.

연구 동기 및 목표

• 비공식 언어와 강력한 언어학적 특징의 부족으로 인해 공식 텍스트에 비해 성능이 뒤처지는 중국어 소셜 미디어 텍스트에서의 명명된 엔티티 인식(NER) 성능 향상을 위해.
• 최신 기술의 중국어 단어 분할 모델에서 학습된 표현이 표준 특징을 초월해 NER 성능 향상에 기여할 수 있는지 조사하기 위해.
• 분할을 사전 처리된 특징으로 취급하는 대신, 공유 표현을 사용해 NER와 단어 분할을 공동으로 훈련하는 다중 작업 학습을 탐색하기 위해.
• 문자 임베딩, 분할 특징, 그리고 공동으로 훈련된 LSTM 은닉 상태와 같은 다양한 표현 유형이 NER 성능에 미치는 영향을 평가하기 위해.
• 향후 비교를 지원하기 위해 보정된 데이터셋을 기반으로 최신이고 신뢰할 수 있는 벤치마크 결과를 제공하기 위해.

제안 방법

• 모델은 NER와 단어 분할을 위한 BiLSTM-CRF 아키텍처를 사용하며, 두 작업 간에 문자 수준의 임베딩과 LSTM 은닉 표현을 공유한다.
• 단어 분할 표현은 SIGHAN 2005 PKU 데이터셋에서 사전 훈련된 LSTM 모델을 통해 학습되며, 이후 NER 모델에 통합된다.
• 공동 훈련 프레임워크는 분할 과정에서 학습된 풍부하고 맥락에 민감한 표현을 활용함으로써 정적 분할 출력을 특징으로 사용하는 것과는 달리, NER 모델이 이점을 얻을 수 있도록 한다.
• 공유 인코더(BiLSTM)와 NER 및 분할을 위한 별도의 CRF 디코딩 레이어를 사용해 엔드 투 엔드로 훈련되며, 파라미터 공유와 공동 최적화를 가능하게 한다.
• 초기화된 하이퍼파라미터는 개발 데이터에서 튜닝되어 테스트 세트에 적용되며, 결과는 보정된 Weibo NER 데이터셋을 사용해 보고된다.
• 다양한 변종을 비교한다: CRF 기반 모델, 특징 기반 분할, 문자 임베딩, 그리고 임베딩과 은닉 상태의 공동 훈련.

실험 결과

연구 질문

• RQ1 최신 기술의 단어 분할 모델에서 학습된 표현이 중국어 소셜 미디어에서의 NER 성능 향상에 기여할 수 있는가?
• RQ2 공유 표현을 사용해 NER와 단어 분할을 공동으로 훈련하는 것이 분할을 사전 처리된 특징으로 사용하는 것보다 더 나은 성능을 낼 수 있는가?
• RQ3 분할 과정에서 유도된 LSTM 은닉 상태의 통합이 문자 임베딩만을 사용하는 것과 비교해 NER 성능에 어떤 기여를 하는가?
• RQ4 분야 불일치(분할은 뉴스 데이터, NER는 소셜 미디어)가 성능에 어떤 영향을 미치며, 공동 학습이 이를 완화할 수 있는가?
• RQ5 공동 훈련과 사전 훈련된 분할 표현 둘 중 어느 것이 전체 성능 향상에 더 큰 기여를 하는가?

주요 결과

• 공유된 BiLSTM 은닉 표현을 사용해 NER와 단어 분할을 공동으로 훈련한 결과, 이전 최고 성능 대비 명목 언급에서 F1 점수 5.3% 절대 향상 달성했다.
• 명칭 언급에서 4.3% 절대 F1 향상 달성하여 이전에 발표된 최고의 결과를 초월했다.
• 문자 임베딩과 LSTM 은닉 상태를 모두 공동으로 훈련한 경우가 가장 뛰어난 성능을 보였으며, 명목 언급에서 F1 점수 62.97%, 명칭 언급에서 55.28% 기록했다.
• 분할 모델을 사전 훈련한 후 NER 모델에서 표현을 미세 조정한 결과 2% F1 향상 달성하여, 전체 성능 향상의 절반 이상이 분할 표현 자체에서 기인함을 시사한다.
• He와 Sun (2017a) 및 He와 Sun (2017b)를 모두 능가하는 성능을 보이며, 보정된 데이터셋에서 공동 학습 접근법의 효과성을 입증했다.
• 분야 불일치(뉴스 데이터로 분할 훈련, 소셜 미디어로 NER 훈련)가 존재하더라도 공동 모델이 뛰어난 성능을 기록하여, 공유 표현이 분야 간 격차를 줄이는 데 기여함을 시사한다.