[논문 리뷰] Towards Deep Learning in Hindi NER: An approach to tackle the Labelled Data Scarcity

Vinayak Athavale, Shreenivas Bharadwaj외 3명|arXiv (Cornell University)|2016. 10. 31.

Topic Modeling참고 문헌 8인용 수 18

한 줄 요약

이 논문은 수동으로 작성된 특징, 지도집 또는 형태소 분석이 필요 없이, 무 supervision으로 사전 훈련된 단어 임베딩을 활용하여 히누어 명명된 엔터티 인식(NER)을 위한 이방향 LSTM 기반 신경망 모델을 제안한다. 이는 오직 3,199개의 레이블링된 문장만을 사용하여 ICON 2013 히누어 NER 데이터셋에서 77.48%의 F1 점수를 기록하며, 사전 훈련된 임베딩과 결합된 딥 러닝 기법이 부족한 애너테이션 데이터가 존재하는 상황에서도 효과적일 수 있음을 보여준다.

ABSTRACT

In this paper we describe an end to end Neural Model for Named Entity Recognition NER) which is based on Bi-Directional RNN-LSTM. Almost all NER systems for Hindi use Language Specific features and handcrafted rules with gazetteers. Our model is language independent and uses no domain specific features or any handcrafted rules. Our models rely on semantic information in the form of word vectors which are learnt by an unsupervised learning algorithm on an unannotated corpus. Our model attained state of the art performance in both English and Hindi without the use of any morphological analysis or without using gazetteers of any sort.

연구 동기 및 목표

• 딥 러닝 모델의 사용을 제한하는 히누어 NER에서의 레이블링 데이터 부족 문제를 해결하기 위해.
• 언어에 종속되지 않는 NER 시스템을 개발하여, 언어 특화된 특징, 지도집 또는 규칙 기반 컴포onent에 의존하지 않기 위해.
• 사전 훈련된 단어 임베딩이 히누어와 같은 저자원 인도어 언어의 NER 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 특히, RNN 기반 모델, 특히 이방향 LSTM이 언어의 자유로운 어순과 어형 복잡성에 잘 일반화될 수 있는지 확인하기 위해.
• 최소한의 감독 신호를 사용하여 저자원 인도어 언어의 NER에 대해 확장 가능하고 이식 가능한 프레임워크를 구축하기 위해.

제안 방법

• 모델은 각 토큰의 좌우 양방향 문맥 의존성을 포착하기 위해 이방향 LSTM 아키텍처를 사용한다.
• 단어 임베딩은 대규모 비레이블링 히누어 코퍼스를 대상으로 무 supervision 스킵그램 모델을 사용해 사전 훈련한다.
• 사전 훈련된 임베딩은 LSTM의 입력 레이어를 초기화하는 데 사용되어, 대규모 레이블링 데이터 세트가 필요로 하는 것을 줄인다.
• 모델은 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 소규모 레이블링 데이터 세트에서 엔드 투 엔드로 훈련된다.
• 모델은 수동으로 작성된 특징, 지도집 또는 형태소 분할을 전혀 사용하지 않으며, 오직 학습된 표현에 의존한다.
• 성능 평가는 표준 NER 메트릭인 정밀도, 재현도 및 테스트 세트의 F1 점수를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 언어 특화된 특징이나 지도집 없이도 딥 러닝 모델이 히누어 NER에서 우수한 성능을 낼 수 있는가?
• RQ2 무 supervision 사전 훈련된 단어 임베딩은 저자원 인도어 언어의 NER 성능 향상에 얼마나 효과적인가?
• RQ3 자유로운 어순과 어형 복잡성을 갖는 히누어 언어를 다룰 때, 이방향 LSTM 아키텍처가 단방향 RNN이나 일반 LSTM보다 우수한가?
• RQ4 제한된 레이블링 데이터가 존재할 경우, 모델의 깊이(1층 대비 2층)는 성능에 얼마나 큰 영향을 미치는가?
• RQ5 특징 재설계 없이도 동일한 모델 아키텍처가 영어와 히누어와 같은 언어들 간에 일반화될 수 있는가?

주요 결과

• GloVe-300 임베딩을 사용한 제안된 Bi-LSTM 모델은 지도집이나 수동 특징 없이 CoNLL 2003 영어 NER 데이터셋에서 90.32% F1 점수를 기록했다.
• ICON 2013 히누어 NER 데이터셋에서, 모델은 오직 3,199개의 레이블링된 문장만을 사용하여 77.48%의 F1 점수를 기록했으며, 지도집 없이도 이전의 방법들을 능가했다.
• GloVe-300 임베딩과 하나의 Bi-LSTM 레이어를 사용한 모델가 가장 높은 성능(개발 세트 78.60%, 테스트 세트 77.48% F1)을 기록했으며, 이는 깊은 네트워크가 제한된 데이터에서 과적합될 수 있음을 시사한다.
• 이방향 LSTM은 단방향 RNN과 일반 LSTM보다 뚜렷이 뛰어난 성능을 보였으며, 앞서와 뒤로의 문맥을 모두 모델링하는 것이 NER에 매우 중요하다는 것을 입증했다.
• 사전 훈련된 단어 임베딩으로 초기화된 모델은 무작위 초기화된 모델보다 훨씬 뛰어난 성능을 보였으며, 이는 낮은 데이터 환경에서 의미적 사전 훈련의 중요성을 강조한다.
• 규칙 기반 컴포넌트, 지도집 또는 형태소 분석 없이도, 이 모델은 영어와 히누어 NER 모두에서 최첨단 성능을 달성했다.