[논문 리뷰] Arabic Named Entity Recognition using Word Representations

Ismail El Bazi, Nabil Laachfoubi|arXiv (Cornell University)|2018. 04. 16.

Topic Modeling참고 문헌 29인용 수 8

한 줄 요약

이 논문은 조건부 랜덤 필드(CRF) 모델을 사용하여 아랍어 명명된 실체 인식(ner) 성능 향상에 단어 표현의 효과를 조사한다. SKIP-gram, CBOW, GloVe의 세 가지 단어 임베딩 방법과 여섯 가지 통합 기법을 평가한 결과, 브라운 군집화 특징이 가장 뛰어난 성능을 보였으며, 기준 시스템 대비 약 10%의 F1 점수 향상을 보였다.

ABSTRACT

Recent work has shown the effectiveness of the word representations features in significantly improving supervised NER for the English language. In this study we investigate whether word representations can also boost supervised NER in Arabic. We use word representations as additional features in a Conditional Random Field (CRF) model and we systematically compare three popular neural word embedding algorithms (SKIP-gram, CBOW and GloVe) and six different approaches for integrating word representations into NER system. Experimental results show that Brown Clustering achieves the best performance among the six approaches. Concerning the word embedding features, the clustering embedding features outperform other embedding features and the distributional prototypes produce the second best result. Moreover, the combination of Brown clusters and word embedding features provides additional improvement of nearly 10% in F1-score over the baseline.

연구 동기 및 목표

• 단어 표현이 감독 기반 아랍어 NER 성능 향상에 기여하는지 평가하기 위해.
• 아랍어 NER 맥락에서 여러 단어 임베딩 알고리즘(SKIP-gram, CBOW, GloVe)을 비교하기 위해.
• CRF 기반 NER 시스템에 단어 표현을 통합하는 데 있어 여섯 가지 다른 접근법을 체계적으로 평가하기 위해.
• 아랍어 NER에 가장 효과적인 단어 표현과 통합 기법의 조합을 특정하기 위해.

제안 방법

• 세 가지 신경망 기반 단어 임베딩 알고리즘인 SKIP-gram, CBOW, GloVe를 사용하여 단어 표현을 생성한다.
• CRF 기반 NER에 단어 표현을 통합하기 위해 여섯 가지 방법을 적용한다: 연결(concatenation), 평균화(averaging), 주의 메커니즘(attention mechanisms), 그리고 브라운 군집화와 분포적 프로토타입을 포함한 군집 기반 방법.
• CRF 모델은 단어 특징과 통합된 단어 표현 특징을 모두 입력으로 사용하여 시퀀스 레이블링을 수행한다.
• 여러 구성에서 표준 NER 메트릭을 사용하여 성능을 평가하며, 특히 F1 점수를 중심으로 분석한다.
• 분포 유사성 기반으로 단어를 군집화하기 위해 브라운 군집화를 적용하고, 이를 추가 특징으로 사용한다.
• 분포적 프로토타입은 단어 임베딩에서 유도되며, 단어 군집의 대표 특징으로 사용된다.

실험 결과

연구 질문

• RQ1 CRF 모델에 추가 특징으로 단어 표현을 사용할 경우 아랍어 NER 성능이 유의미하게 향상되는가?
• RQ2 아랍어 NER에서 가장 뛰어난 성능을 보이는 단어 임베딩 알고리즘은 무엇인가? (SKIP-gram, CBOW, GloVe 중)
• RQ3 연결, 군집화, 평균화 등의 통합 방법 중 어느 것이 아랍어 NER에서 가장 높은 F1 점수를 달성하는가?
• RQ4 브라운 군집과 단어 임베딩 특징을 조합하면 기준 시스템이나 개별 특징 대비 유의미한 향상이 이루어지는가?

주요 결과

• 아랍어 NER에서 단어 표현 특징의 여섯 가지 통합 방법 중에서 브라운 군집화가 가장 높은 성능을 기록했다.
• 군집 기반 단어 표현 특징이 SKIP-gram, CBOW, GloVe의 다른 임베딩 특징보다 뛰어난 성능을 보였다.
• 분포적 프로토타입은 두 번째로 높은 성능을 기록하여, 의미 정보를 효과적으로 포착하는 것으로 나타났다.
• 브라운 군집과 단어 임베딩 특징을 조합한 결과, 기준 시스템 대비 F1 점수 약 10% 향상이 이루어졌다.
• 단어 표현의 사용은 아랍어와 같이 자원이 적고 형태가 복잡한 언어에서 NER 성능을 크게 향상시켜, 그 가치를 입증했다.