[논문 리뷰] An HMM Based Named Entity Recognition System for Indian Languages: The JU System at ICON 2013

Vivekananda Gayen, Kamal Sarkar|arXiv (Cornell University)|2014. 05. 28.

Natural Language Processing Techniques참고 문헌 10인용 수 19

한 줄 요약

이 논문은 Jadavpur University에서 개발한 은닉 마르코프 모델(HMM) 기반의 명명된 실체 인식(ner) 시스템을 제시하며, ICON 2013 자연어 처리 도구 경연 대회에서 평가되었다. 이 시스템은 벤갈리어에서 F-측정치 0.8599, 영어에서 0.7704, 히ند어에서 0.7520을 기록하였고, 마라티어, 펀자브어, 타밀어, 텔루구어에 대해서는 낮은 점수를 기록하여, 최소한의 언어학적 자원으로도 저자원 인도어의 명명된 실체 인식에 HMM이 효과적임을 보여준다.

ABSTRACT

This paper reports about our work in the ICON 2013 NLP TOOLS CONTEST on Named Entity Recognition. We submitted runs for Bengali, English, Hindi, Marathi, Punjabi, Tamil and Telugu. A statistical HMM (Hidden Markov Models) based model has been used to implement our system. The system has been trained and tested on the NLP TOOLS CONTEST: ICON 2013 datasets. Our system obtains F-measures of 0.8599, 0.7704, 0.7520, 0.4289, 0.5455, 0.4466, and 0.4003 for Bengali, English, Hindi, Marathi, Punjabi, Tamil and Telugu respectively.

연구 동기 및 목표

• 통계 모델링을 사용하여 인도어를 위한 강력하고 언어에 관계없는 NER 시스템을 개발하기.
• 저자원 및 형태소적으로 복잡한 인도어의 명명된 실체 인식 도전 과제를 해결하기.
• 다양한 언어적 구조를 가진 인도어에서 HMM 기반 접근법의 성능을 평가하기.
• ICON 2013 자연어 처리 도구 경연에 참가하기 위해 일관된 HMM 기반 NER 시스템을 일곱 개의 인도어에 걸쳐 제출하기.

제안 방법

• 시스템은 텍스트 내 명명된 실체의 순차적 구조를 모델링하기 위해 은닉 마르코프 모델(HMM)을 사용한다.
• 왼쪽에서 오른쪽으로 진행되는 HMM 아키텍처를 사용하며, 상태는 명명된 실체 태그(예: PERSON, ORG, LOC)를 나타낸다.
• 각 언어의 ICON 2013 자연어 처리 도구 경연 데이터셋을 최대 우도 추정을 사용하여 훈련한다.
• 관측 확률은 문자 수준 및 단어 수준의 특징에서 유도되며, 상태 전이 확률은 태그 순서에 기반한다.
• 각 토큰에 대해 가장 가능성이 높은 명명된 실체 태그를 예측하기 위해 비터비 알고리즘을 적용한다.
• 복잡한 언어학적 특징이나 외부 자원을 사용하지 않았으며, HMM 구조와 훈련 데이터에만 의존하였다.

실험 결과

연구 질문

• RQ1 저자원 인도어에서 기본적인 HMM 기반 접근법이 명명된 실체 인식에 얼마나 효과적인가?
• RQ2 다양한 스크립트와 형태소 복잡도를 가진 다양한 인도어에 대해 단일 HMM 프레임워크가 일반화될 수 있는가?
• RQ3 복잡한 언어학적 사전 처리나 외부 지식 없이 통계 모델링만으로 어떤 성능을 달성할 수 있는가?
• RQ4 형태소적 풍부성과 데이터 가용성 수준이 다른 인도어 간의 F-측정치는 어떻게 달라지는가?

주요 결과

• HMM 기반 시스템은 테스트된 모든 언어 중에서 가장 높은 성능을 보인 벤갈리어에서 F-측정치 0.8599를 기록하였다. 이는 이 언어에서 뛰어난 성능을 의미한다.
• 영어와 히нд어는 각각 F-측정치 0.7704와 0.7520을 기록하여, 자원이 더 많은 인도어에서의 탄탄한 성능을 보였다.
• 마라티어, 펀자브어, 타밀어, 텔루구어는 각각 F-측정치 0.4289, 0.5455, 0.4466, 0.4003을 기록하여 저자원 환경에서의 과제를 반영하였다.
• 자원이 많은 언어와 저자원 언어 간의 성능 격차는 훈련 데이터 크기와 언어학적 복잡도의 영향을 드러낸다.
• 결과는 HMM이 복잡한 언어학적 특징이나 외부 자원 없이도 인도어의 NER에 효과적일 수 있음을 확인한다.
• 시스템은 최소한의 언어별 튜닝으로도 여러 인도어에 걸쳐 통합된 통계 모델을 사용할 수 있음을 보여준다.