[논문 리뷰] A Deep Learning approach for Hindi Named Entity Recognition

Bansi Shah, Sunil Kumar Kopparapu|arXiv (Cornell University)|2019. 11. 05.

Topic Modeling참고 문헌 11인용 수 7

한 줄 요약

이 논문은 사전 학습된 fastText 임베딩을 사용하면서, 기본 BiLSTM 모델에 노이즈 제거 오토에인코더 LSTM(DAE-LSTM)와 조건화 LSTM을 통합한 계층적 딥러닝 접근법을 제안하여, 특히 자료가 제한된 저자원 환경에서 기존 모델 대비 향상된 F1 스코어를 달성한다. 아울러 OOV(Out-of-Vocabulary) 단어 문제에도 불구하고 아키텍처적 개선이 성능 향상에 기여함을 보여준다.

ABSTRACT

Named Entity Recognition is one of the most important text processing requirement in many NLP tasks. In this paper we use a deep architecture to accomplish the task of recognizing named entities in a given Hindi text sentence. Bidirectional Long Short Term Memory (BiLSTM) based techniques have been used for NER task in literature. In this paper, we first tune BiLSTM low-resource scenario to work for Hindi NER and propose two enhancements namely (a) de-noising auto-encoder (DAE) LSTM and (b) conditioning LSTM which show improvement in NER task compared to the BiLSTM approach. We use pre-trained word embedding to represent the words in the corpus, and the NER tags of the words are as defined by the used annotated corpora. Experiments have been performed to analyze the performance of different word embeddings and batch sizes which is essential for training deep models.

연구 동기 및 목표

• 히нд어 NER에 대한 애너테이션된 데이터 부족과 강력한 NLP 도구 부족 문제를 해결한다.
• 저자원 조건에서 딥러닝을 활용해 히нд어 NER 성능을 향상시킨다.
• 형태소가 풍부한 언어에서 더 나은 엔티티 태깅을 위해 BiLSTM의 아키텍처 개선을 탐색한다.
• 단어 임베딩과 배치 크기가 모델 훈련 및 추론에 미치는 영향을 조사한다.
• 히нд어 텍스트에서 내재어 및 외재어 단어에 대한 모델의 강인성을 평가한다.

제안 방법

• 저자원 환경에 맞게 미세조정된 기준 BiLSTM 모델을 히нд어 NER의 기준으로 사용한다.
• 단어 임베딩을 재구성함으로써 강건한 표현을 학습하는 노이즈 제거 오토에인코더 LSTM(DAE-LSTM)을 도입한다.
• 예측 레이블과 문맥적 특징에 조건을 걸어 BiLSTM 출력을 개선하는 조건화 LSTM을 구현한다.
• 문자 수준 및 특징 기반 표현과 함께 사전 학습된 fastText 단어 임베딩을 결합하여 입력 표현을 풍부하게 한다.
• 10,000개의 원본 및 4,000개의 처리된 훈련 데이터셋을 사용하여 모델을 훈련하고, 처리된 테스트 세트에서 평가한다.
• 시퀀스 태깅을 위해 CRF 레이어를 적용하고, Adam 옵timizer를 사용해 교차 엔트로피 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 저자원 환경에서 표준 BiLSTM에 비해 노이즈 제거 오토에인코더 LSTM이 히нд어 NER 성능을 향상시킬 수 있는가?
• RQ2 예측 레이블에 따라 LSTM 출력을 조건화하면 히нд어 텍스트의 NER 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 단어 임베딩과 배치 크기가 히нд어 NER를 위한 딥 모델 훈련에 어떤 영향을 미치는가?
• RQ4 왜 OOV 단어에서 성능이 떨어지며, 더 나은 임베딩 전략으로 이를 완화할 수 있는가?
• RQ5 계층적으로 여러 신경망 컴포넌트를 스택하면 독립적인 BiLSTM보다 더 나은 NER 결과를 낼 수 있는가?

주요 결과

• DAE-LSTM 모델은 처리된 테스트 세트에서 F1 스코어 0.81을 기록하여 기준 BiLSTM(F1: 0.75)과 조건화 LSTM(F1: 0.79)보다 뛰어난 성능을 보였다.
• BiLSTM 아키텍처에 조건화 LSTM을 통합한 모델은 원본 및 처리된 데이터셋 모두에서 기준 모델 대비 일관된 향상을 보이며 F1 스코어 0.79를 달성했다.
• OOV 단어에서 성능이 크게 떨어졌으며, 기준 LSTM은 레콜이 0.24, F1이 0.31에 그쳐, 제로 벡터 임베딩의 한계를 보여주었다.
• DAE-LSTM 모델이 생성한 단어 임베딩(w∗_i)은 알려진 단어와 정확히 일치하지 않아, 의미 해석을 향상시키기 위해 제약 조건 강화가 필요함을 시사했다.
• 4,000개의 처리된 데이터로 훈련한 모델은 10,000개의 원본 데이터로 훈련한 모델(0.75 F1)보다 F1 스코어가 낮은 0.62를 기록하여, 저자원 NER에서 데이터 양이 여전히 핵심 요소임을 확인했다.
• 단어 수준에서 BERT 임베딩을 사용하는 것이 고려되었으나, 256셀 LSTM 아키텍처와 차원 불일치(768D) 문제로 인해 완전히 구현되지 않았다.