[논문 리뷰] F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media

Hangfeng He, Xu Sun|arXiv (Cornell University)|2016. 11. 14.

Topic Modeling참고 문헌 25인용 수 9

한 줄 요약

이 논문은 중국어 소셜 미디어 명칭 엔터티 인식을 위한 F-점수 기반 최대 마진 신경망을 제안하며, 전이 확률과 B-LSTM 기반의 준지도 학습을 통합하여 F1-점수를 향상시킨다. 모델는 F-점수와 레이블 정확도를 동시에 최적화하여 최신 기술 수준의 성능을 달성하였으며, 전체 F1-점수는 54.82%로, 이는 이전 방법들보다 명칭 및 명사적 언급 모두에서 뛰어난 성능을 보였다.

ABSTRACT

We focus on named entity recognition (NER) for Chinese social media. With massive unlabeled text and quite limited labelled corpus, we propose a semi-supervised learning model based on B-LSTM neural network. To take advantage of traditional methods in NER such as CRF, we combine transition probability with deep learning in our model. To bridge the gap between label accuracy and F-score of NER, we construct a model which can be directly trained on F-score. When considering the instability of F-score driven method and meaningful information provided by label accuracy, we propose an integrated method to train on both F-score and label accuracy. Our integrated model yields 7.44\% improvement over previous state-of-the-art result.

연구 동기 및 목표

• 저자원, 비공식적인 중국어 소셜 미디어 텍스트에서의 명칭 엔터티 인식(NER) 과제를 해결하기 위해.
• NER 평가에서 흔히 일치하지 않는 레이블 정확도와 F-점수 사이의 격차를 메우기 위해.
• 준지도 학습을 통해 막대한 비라벨 텍스트를 활용하여 저자원 환경에서의 NER 성능을 향상시키기 위해.
• 레이블 정확도가 아닌 F-점수를 직접 최적화하는 훈련 목표를 설계하여 예측의 노이즈에 대한 모델의 강건성을 향상시키기 위해.
• F-점수와 레이블 정확도를 통합된 훈련 프레임워크로 통합하여 일반화 능력을 향상시키기 위해.

제안 방법

• 이중 방향 LSTM(B-LSTM) 기반의 최대 마진 신경망(MMNN)을 제안하여 전이 확률을 통해 시퀀스 수준의 레이블 의존성을 모델링한다.
• F-점수 기반의 페널티를 반영한 구조적 마진 손실 함수를 도입하여, F-점수 기반의 할인 파라미터 κ를 사용해 잘못된 레이블 시퀀스에 대해 페널티를 적용한다.
• B-LSTM 출력과 전이 확률 A, 예측 레이블의 음의 로그 우도를 결합한 문장 수준의 점수 함수를 구성한다.
• F-점수 기반 손실과 레이블 정확도 손실을 조합한 하이브리드 훈련 목표를 사용하며, 두 기준을 균형 잡기 위해 하이퍼파라미터 β로 가중치를 조절한다.
• 비라벨 텍스트에서 유래한 위치 기반 문자 임베딩을 사용하여 단어 표현을 풍부하게 하여 저자원 환경에서의 일반화 능력을 향상시킨다.
• 20 에포크 동안 L2 정규화와 감소하는 학습률을 적용한 확률적 경사 하강법을 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 신경망에서 F-점수를 직접 최적화하는 것이 기존의 정확도 기반 훈련 대비 중국어 소셜 미디어 NER 성능 향상에 기여하는가?
• RQ2 F-점수와 레이블 정확도를 통합된 훈련 목표로 통합할 경우 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ3 전이 확률과 B-LSTM 표현이 저자원 NER에서 시퀀스 수준의 레이블링에 얼마나 기여하는가?
• RQ4 비라벨 데이터에서 유도한 위치 기반 문자 임베딩을 사용할 경우 중국어 NER에서 OOV(외부 어휘) 엔터티의 성능 향상에 기여하는가?
• RQ5 훈련 목표에서 F-점수와 정확도 사이의 최적의 균형은 무엇이며, 이는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 F-점수 기반 모델(Model I)은 전체 F1-점수 53.64%를 기록하여 베이스라인 B-LSTM 모델(52.81%)과 이전 최고 성능 방법들을 능가하였다.
• 통합 모델(Model II)은 새로운 최고 성능 F1-점수 54.82%를 달성하여 F-점수와 레이블 정확도를 동시에 최적화하는 것이 효과적임을 입증하였다.
• OOV(외부 어휘) 엔터티에 대한 리콜이 20.96%로 향상되어 드물거나 미리보지 않은 엔터티에 대한 일반화 능력 향상이 확인되었다.
• 위치 기반 문자 임베딩의 사용은 단어 분할 특징보다 우수한 성능을 보였으며, F1-점수 56.29%를 기록하여 베이스라인 B-LSTM의 52.81%를 상회하였다.
• 통합 손실 함수의 하이퍼파라미터 β는 성능에 상당한 영향을 미치며, β=0.2일 때 F-점수와 정확도 사이의 최적 균형이 달성되었다.