[논문 리뷰] CRF-based Named Entity Recognition @ICON 2013

Arjun Das, Utpal Garain|arXiv (Cornell University)|2014. 09. 29.

Topic Modeling참고 문헌 5인용 수 5

한 줄 요약

이 논문은 인도어를 위한 CRF 기반 명명된 실체 인식 시스템을 제시하며, 베ง골리, 히ン두, 영어에 대해 위키피디아에서 가져온 지도자료와 언어 독립적 특징을 사용한다. 영어의 경우 F1 스코어가 88%이며, 베ง골리의 경우 87%를 기록한다. 반면, 타밀어와 텔루구어의 경우 지도자료가 부족하여 성능이 낮아 69%에 머물렀으며, 이는 자원이 적은 환경에서 언어 특화 자원이 NER 성능에 미치는 영향을 보여준다.

ABSTRACT

This paper describes performance of CRF based systems for Named Entity Recognition (NER) in Indian language as a part of ICON 2013 shared task. In this task we have considered a set of language independent features for all the languages. Only for English a language specific feature, i.e. capitalization, has been added. Next the use of gazetteer is explored for Bengali, Hindi and English. The gazetteers are built from Wikipedia and other sources. Test results show that the system achieves the highest F measure of 88% for English and the lowest F measure of 69% for both Tamil and Telugu. Note that for the least performing two languages no gazetteer was used. NER in Bengali and Hindi finds accuracy (F measure) of 87% and 79%, respectively.

연구 동기 및 목표

• 조건부 랜덤 필드를 사용하여 다양한 인도어에 대해 강력하고 다국어 간 Named Entity Recognition 시스템을 개발한다.
• 자원 가용성이 다양한 인도어 간 언어 독립적 특징의 효과를 평가한다.
• 위키피디아 및 기타 자료에서 구축한 지도자료가 자원이 적은 인도어의 NER 성능에 미치는 영향을 조사한다.
• 영어, 베ง골리, 히누두, 타밀어, 텔루구어를 포함한 여러 인도어 간 시스템 성능을 비교한다.
• 특히 타밀어 및 텔루구어와 같은 드라비디아어에서 자원이 적은 환경에서 성능 저하 요인을 규명한다.

제안 방법

• 텍스트 내 토큰에 대해 명명된 실체 태그(예: 인물, 장소)를 예측하기 위해 CRF 기반의 시퀀스 레이블링 모델을 사용한다.
• 모든 언어에 동일하게 적용되는 언어 독립적 특징(예: 단어 형태, 접미사, 컨텍스트 윈도우)을 사용한다.
• 영어의 경우 전문어 인식을 향상시키기 위해 자세한 특징인 대문자 사용을 추가한다.
• 위키피디아 및 외부 자료에서 유명한 실체(예: 인명, 장소)를 포함하는 지도자료를 구축한다.
• 각 토큰에 대한 국소적 컨텍스트와 어휘 패턴을 인코딩하기 위해 특징 템플릿을 사용한다.
• 모델 학습 및 추론은 CRF++ 또는 유사한 CRF 툴킷을 사용하며, 하이퍼파라미터 튜닝을 위해 격자 탐색을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 인도어에서 언어 독립적 특징만을 사용할 경우, CRF 기반 NER 시스템의 성능은 얼마나 효과적인가?
• RQ2 위키피디아에서 유래한 지도자료를 통합할 경우, 인도어의 NER 성능 향상 정도는 어느 정도인가?
• RQ3 왜 지도자료가 없는 상태에서 타밀어와 텔루구어의 성능이 히누두 및 베ง골리어에 비해 뚜렷이 떨어지는가?
• RQ4 언어 특화 특징으로서 대문자 사용이 영어 NER 성능에 어떤 영향을 미치는가?
• RQ5 언어 다양성과 자원 가용성의 상대적 영향은 자원이 적은 인도어의 CRF 기반 NER에 어떤가?

주요 결과

• 영어의 경우 언어 특화 특징을 활용해 최고의 F1 스코어 88%를 기록하여 뛰어난 성능을 보였다.
• 베그골리어의 경우 F1 스코어 87%를 기록하여, 지도자료와 함께 CRF 모델이 매우 효과적임을 확인했다.
• 히누두어는 지도자료를 사용했음에도 불구하고 F1 스코어 79%로 중간 수준의 성능을 보였다.
• 타밀어와 텔루구어는 모두 F1 스코어 69%로, 모든 언어 중에서 가장 낮은 성능을 보였으며, 이는 지도자료 부족 탓이었다.
• 언어 간 성능 격차는 자원이 적은 인도어의 NER 성능 향상에 지도자료의 핵심적 역할을 강조한다.
• 결과적으로 언어 독립적 특징만으로는 자원이 적은 환경에서 최적의 성능을 달성하기에 부족함을 확인했다.