[논문 리뷰] Fine-Grained Named Entity Recognition using ELMo and Wikidata

Cihan Dogan, Aimore Resende Riquetti Dutra외 5명|arXiv (Cornell University)|2019. 04. 23.

Topic Modeling참고 문헌 26인용 수 9

한 줄 요약

이 논문은 ELMo 문맥 임베딩과 위키데이터를 결합하여 112개의 세분화된 유형으로 엔티티 명을 분류하는 세분화된 명명된 엔티티 인식(FgNER) 프레임워크를 제안한다. 위키데이터의 계층적 분류체계와 코사인 유사도를 활용한 유형 클러스터링을 통해, 직접 미세조정 없이도 위키(골드) 데이터셋에서 52.8%의 F1 스코어를 달성하며, 다양한 도메인에 걸쳐 강력한 제로샷 일반화 능력을 입증한다.

ABSTRACT

Fine-grained Named Entity Recognition is a task whereby we detect and classify entity mentions to a large set of types. These types can span diverse domains such as finance, healthcare, and politics. We observe that when the type set spans several domains the accuracy of the entity detection becomes a limitation for supervised learning models. The primary reason being the lack of datasets where entity boundaries are properly annotated, whilst covering a large spectrum of entity types. Furthermore, many named entity systems suffer when considering the categorization of fine grained entity types. Our work attempts to address these issues, in part, by combining state-of-the-art deep learning models (ELMo) with an expansive knowledge base (Wikidata). Using our framework, we cross-validate our model on the 112 fine-grained entity types based on the hierarchy given from the Wiki(gold) dataset.

연구 동기 및 목표

• 큰 다중 도메인 유형 집합을 다룰 때 세분화된 NER의 정확도가 낮은 문제를 해결하기 위해.
• 비용이 많이 드는 수동 주석 작업에 대한 의존도를 줄이기 위해 위키데이터를 구조적이고 계층적인 엔티티 유형의 원천으로 활용하기 위해.
• 문맥 임베딩과 지식 기반 연결을 조합하여 제로샷 일반화 능력을 향상시키기 위해.
• 재학습 없이도 새로운 도메인에 쉽게 적용할 수 있는 확장 가능하고 이식 가능한 FgNER를 가능하게 하기 위해.
• 위키백과와 위키데이터에서 유도된 112개 유형의 계층에서 모델의 성능을 평가하기 위해.

제안 방법

• 모델은 텍스트 내 엔티티 명의 문맥 표현을 인코딩하기 위해 ELMo 임베딩을 사용한다.
• 다중 레이블 분류 헤드를 적용하여 거시적 엔티티 유형(예: 사람, 장소, 조직)을 예측한다.
• 세분화된 분류를 위해 예측된 유형을 엔티티 연결을 통해 위키데이터에 매핑하고, 엔티티 설명의 코사인 유사도를 통한 클러스터링을 수행한다.
• 엔티티 설명 간 유사도 계산을 위해 위키백과의 워드2벡 임베딩을 사용하여 가능한 하위유형과의 유사도를 산출한다.
• 유사도 임계값 0.1을 적용하여 타당한 하위유형 매핑을 필터링하고, 가장 높은 점수를 받은 매핑을 선택한다.
• 프레임워크는 위키(골드) 데이터셋에 대한 직접 학습을 피하고, 사전 학습된 임베딩과 외부 지식을 활용하여 제로샷 추론에 의존한다.

실험 결과

연구 질문

• RQ1 ELMo 기반의 문맥 임베딩과 위키데이터를 조합하면 세분화된 NER에서 제로샷 성능이 향상되는가?
• RQ2 위키데이터의 계층적 구조는 엔티티 명의 정확한 자식 유형 분류를 위한 자동화된 하위유형 분류에 얼마나 효과적인가?
• RQ3 엔티티 설명과 위키데이터 하위유형 간 코사인 유사도 사용이 히우리스틱 또는 규칙 기반 클러스터링보다 우수한가?
• RQ4 해당 특정 데이터셋에 대해 미세조정 없이 112개 유형의 계층에서 모델의 성능은 어떠한가?
• RQ5 위키데이터와 문맥 임베딩에만 액세스할 수 있는 상황에서, 재학습 없이도 모델이 도메인 간 일반화가 가능한가?

주요 결과

• 모델은 112개 유형의 위키(골드) 데이터셋에서 마이크로 평균 F1 스코어 52.8%를 기록하며 강력한 제로샷 성능을 입증한다.
• OntoNotes 데이터셋에서는 F1 스코어 88.7%를 기록하여 더 넓은 범주나 거시적 카테고리에서 뛰어난 성능을 보인다.
• 성능이 가장 뛰어난 카테고리는 조직(F1: 85%)이며, 예술(F1: 0%)은 희귀하거나 모호한 유형에서 세분화된 분류의 과제를 드러낸다.
• 사람(F1: 66%)과 장소(F1: 54%)에서 가장 잘 작동하며, 이는 이 유형들이 위키데이터의 구조와 더 잘 일치함을 시사한다.
• 직접 튜닝 없이도 이전 시스템인 Link 등(2012)보다 위키(골드)에서 52.8% 대비 53.2%의 F1 스코어로 뛰어난 성능을 기록한다.
• 워드2벡 임베딩을 사용한 코사인 유사도 기반 클러스터링 방법은 특히 사람, 장소, 조직 유형에 대해 엔티티를 하위유형으로 성공적으로 매핑한다.