[논문 리뷰] Finer Grained Entity Typing with TypeNet.

Shikhar Murty, Patrick Verga외 2명|arXiv (Cornell University)|2017. 11. 01.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 Freebase 유형을 WordNet에 매핑하여 유도한 1,941개의 계층적 유형을 가진 세분화된 엔티티 유형 데이터셋인 TypeNet을 소개한다. 이는 계층의 구조 손실와 표준 유형 지정 손실을 함께 고려하는 모델을 제안하여, 새로운 벤치마크와 방법론적 프레임워크를 통해 세분화된 구조적 엔티티 유형 지정 분야에서 최신 기술을 발전시킨다.

ABSTRACT

We consider the challenging problem of entity typing over an extremely fine grained set of types, wherein a single mention or entity can have many simultaneous and often hierarchically-structured types. Despite the importance of the problem, there is a relative lack of resources in the form of fine-grained, deep type hierarchies aligned to existing knowledge bases. In response, we introduce TypeNet, a dataset of entity types consisting of over 1941 types organized in a hierarchy, obtained by manually annotating a mapping from 1081 Freebase types to WordNet. We also experiment with several models comparable to state-of-the-art systems and explore techniques to incorporate a structure loss on the hierarchy with the standard mention typing loss, as a first step towards future research on this dataset.

연구 동기 및 목표

• 엔티티 유형 지정 분야에서 기존 지식 기반과 정렬된 세분화된 깊이 있는 유형 계층이 부족한 문제를 해결하기 위해.
• 계층적 구조로 조직된 1,941개의 엔티티 유형으로 구성된 포괄적이고 수작업으로 캐릭터화된 데이터셋을 구축하기 위해.
• 신경망 모델에서 표준 언급 유형 지정 손실과 함께 계층적 구조 손실를 통합하는 방법을 탐색하기 위해.
• 지식 기반에 기반한 구조적 데이터셋을 사용하여 세분화된 엔티티 유형 지정을 위한 벤치마크를 설정하기 위해.

제안 방법

• 1,081개의 Freebase 유형을 WordNet 개념으로의 매핑을 수작업으로 annotation하여 계층적 유형 네트워크를 구축하기 위해.
• WordNet의 의미적 구조를 기반으로 트리 형태의 계층적 구조로 조직된 1,941개의 유형으로 구성된 데이터셋을 구축하기 위해.
• 언급 수준의 유형 지정과 계층적 구조 일관성에 동시에 최적화하는 신경망 모델을 설계하기 위해.
• TypeNet의 계층적 관계를 존중하도록 예측된 유형 임베딩을 유도하는 구조 손실 함수를 통합하기 위해.
• 언급 유형 지정을 위한 표준 크로스 엔트로피 손실과 유형 임베딩에 대한 대비 스타일의 구조 손실을 함께 사용하여 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 기존 지식 기반에서부터 체계적으로 세분화된 계층적 엔티티 유형 분류 체계를 어떻게 구성할 수 있는가?
• RQ2 계층적 구조 손실를 통합할 경우 세분화된 엔티티 유형 지정 성능에 얼마나 기여하는가?
• RQ3 수작업으로 캐릭터화된 대규모 유형 계층이 엔티티 유형 지정 모델의 일반화 능력과 정확도를 향상시킬 수 있는가?
• RQ4 다양한 모델 아키텍처는 언급 예측과 유형 계층 일관성 최적화를 동시에 수행할 때 어떻게 성능을 발휘하는가?

주요 결과

• TypeNet은 Freebase 유형을 WordNet에 매핑하여 유도한 1,941개의 엔티티 유형으로 구성된 포괄적인 데이터셋을 제공하며, 이는 계층적 구조로 조직되어 있다.
• 구조 손실 함수의 통합은 계층적 유형 관계에 대한 일관성을 강제함으로써 모델 성능을 향상시킨다.
• 제안된 방법은 언급 유형 지정과 계층적 구조 최적화를 동시에 수행할 경우 의미적 유형 계층과의 일치도가 향상됨을 보여준다.
• 이 데이터셋과 프레임워크는 계층적 지도 학습을 통한 향후 세분화된 구조적 엔티티 유형 지정 연구의 기초를 마련한다.