[논문 리뷰] POLYGLOT-NER: Massive Multilingual Named Entity Recognition

Rami Al‐Rfou, Vivek Kulkarni외 2명|arXiv (Cornell University)|2014. 10. 14.

Topic Modeling참고 문헌 1인용 수 38

한 줄 요약

이 논문은 인간의 주석이 없는 데이터셋이나 언어별 자원이 필요 없이 위키피디아의 링크 구조와 프리베이스 속성만을 사용하여 40개 주요 언어를 대상으로 다국어 명명된 실체 인식(NER) 시스템을 구축하는 언어에 관계없이 적용 가능한 접근법인 POLYGLOT-NER를 제시한다. 신경망 단어 임베딩, 자동 데이터 합성, 언어에 관계없이 적용 가능한 사전 처리(과잉 표본 추출 및 표면 형식 일치)를 활용하여 표준 벤치마크에서 경쟁적인 성능을 달성하며, 통계적 기계 번역을 이용한 원거리 평가를 통해 자원이 적은 언어에 대해서도 평가가 가능하다.

ABSTRACT

The increasing diversity of languages used on the web introduces a new level of complexity to Information Retrieval (IR) systems. We can no longer assume that textual content is written in one language or even the same language family. In this paper, we demonstrate how to build massive multilingual annotators with minimal human expertise and intervention. We describe a system that builds Named Entity Recognition (NER) annotators for 40 major languages using Wikipedia and Freebase. Our approach does not require NER human annotated datasets or language specific resources like treebanks, parallel corpora, and orthographic rules. The novelty of approach lies therein - using only language agnostic techniques, while achieving competitive performance. Our method learns distributed word representations (word embeddings) which encode semantic and syntactic features of words in each language. Then, we automatically generate datasets from Wikipedia link structure and Freebase attributes. Finally, we apply two preprocessing stages (oversampling and exact surface form matching) which do not require any linguistic expertise. Our evaluation is two fold: First, we demonstrate the system performance on human annotated datasets. Second, for languages where no gold-standard benchmarks are available, we propose a new method, distant evaluation, based on statistical machine translation.

연구 동기 및 목표

• 영어를 초월해 다국어 NER 시스템의 부족을 해결하고, 확장 가능하고 자원이 적은 언어에 대한 지원을 가능하게 하기 위해.
• 자원이 적은 언어의 NER에서 인간의 주석이 있는 데이터셋과 언어별 언어학적 자원이 필요로 하는 문제를 해결하기 위해.
• 언어에 관계없이 적용 가능한 기법들만을 사용하여 자동으로 학습 데이터를 생성하고 NER 모델을 훈련할 수 있는 시스템을 개발하기 위해.
• 골드 표준 기준이 없는 언어에서 NER 성능을 신뢰할 수 있게 평가할 수 있도록 하기 위해.
• 다양한 언어, 특히 세르비아어, 인도네시아어, 태국어와 같이 자원이 적은 언어에서도 일관된 성능을 보여주기 위해.

제안 방법

• 40개 언어 전반에 걸쳐 의미적 및 문법적 특징을 인코딩할 수 있는 언어에 관계없이 적용 가능한 신경망 단어 임베딩을 학습한다.
• 프리베이스로 식별된 실체 페이지와 연결된 앵커 텍스트를 식별하여 위키피디아에서 후보 명명된 실체 언급을 추출한다.
• 언어에 관계없이 적용 가능한 두 단계의 사전 처리를 적용한다: 클래스 불균형을 완화하기 위한 과잉 표본 추출과 긍정 예측의 커버리지 향상을 위한 정확한 표면 형식 일치.
• 위키피디아의 내부 링크 구조와 프리베이스의 속성 메타데이터를 사용하여 자동으로 학습 데이터셋을 구성함으로써 언어별 도구 의존도를 회피한다.
• 통계적 기계 번역(SMT)을 사용해 원거리 평가를 수행하기 위해 골드 표준 주석을 목표 언어로 번역하고 일치 정확도를 측정한다.
• 표준 NER 평가 지표(EM 및 EA)를 사용하여 자동으로 구성된 데이터셋에서 시퀀스 레이블링 모델(CRF 또는 BiLSTM-CRF 등)을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 인간의 주석이 있는 데이터셋이나 언어별 언어학적 자원이 없이도 다국어 NER 시스템을 구축할 수 있는가?
• RQ2 언어에 관계없이 적용 가능한 데이터 증강 기법(예: 과잉 표본 추출 및 표면 형식 일치)이 자원이 적은 언어에서 NER 성능 향상에 얼마나 효과적인가?
• RQ3 통계적 기계 번역을 사용해 골드 표준 기준이 없는 언어의 신뢰할 수 있는 평가 세트를 얼마나 잘 생성할 수 있는가?
• RQ4 위키피디아의 크기와 프리베이스 속성 커버리지가 다양한 언어에서 NER 성능과 어떻게 관련이 있는가?
• RQ5 다국어 환경에서 실체 유형(PERSON, LOCATION, ORGANIZATION) 간 성능 차이는 어떻게 다른가?

주요 결과

• 인간의 주석이 있는 기준 벤치마크에서 경쟁적인 성능를 달성하였으며, 특히 영어, 스페인어, 독일어에서는 기존 도구인 OpenNLP 및 NLTK를 능가하였다.
• 언어에 관계없이 적용 가능한 사전 처리 단계(과잉 표본 추출 및 표면 형식 일치)는 골드 표준 데이터셋에서 F1 스코어를 최소 45% 향상시켰으며, 위키피디아의 링크 히우리스틱으로 인한 노이즈를 감소시켰다.
• 더 큰 위키피디아 편찬본(예: 영어, 프랑스어, 스페인어)은 더 나은 단어 임베딩과 더 다양해진 학습 데이터를 제공하여 EM 스코어에서 거짓 음성 수를 0.6 감소시켰다.
• 성능은 실체 유형에 따라 달라지며, PERSON 인식이 가장 정확하고, 그 다음 LOCATION, ORGANIZATION 순이지만, 프리베이스 속성 분포의 기울임으로 인해 예측이 편향될 수 있다(예: 베트남어는 LOCATION을 과다 주석 처리함).
• 통계적 기계 번역 기반 원거리 평가가 시스템 성능에 대한 신뢰할 수 있는 대체 지표를 제공하지만, 번역 품질과 실체 유지 여부가 메트릭 정확도에 영향을 미칠 수 있으며, 특히 한국어, 그리스어, 태국어와 같은 언어에서는 더욱 그러하다.
• 시스템은 세르비아어, 인도네시아어, 태국어, 말레이어, hebrew와 같이 자원이 적은 언어를 포함한 40개 언어에서 일관된 성능을 보였으며, 공개 소스 모델를 공개하여 대중이 사용할 수 있도록 하였다.