[논문 리뷰] Hierarchical Losses and New Resources for Fine-grained Entity Typing and Linking

Shikhar Murty, Patrick Verga외 3명|arXiv (Cornell University)|2018. 07. 13.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 온톨로지에서 유래한 풍부한 유형 및 실체 계층을 미세 분류된 실체 타이핑과 연결에 통합하기 위해 계층적 손실 함수와 이차형 변환을 도입한다. FIGER 및 공동체에 공개된 새로운 데이터셋 MedMentions와 TypeNet에서 최신 기준 성능을 달성한다.

ABSTRACT

Extraction from raw text to a knowledge base of entities and fine-grained types is often cast as prediction into a flat set of entity and type labels, neglecting the rich hierarchies over types and entities contained in curated ontologies. Previous attempts to incorporate hierarchical structure have yielded little benefit and are restricted to shallow ontologies. This paper presents new methods using real and complex bilinear mappings for integrating hierarchical information, yielding substantial improvement over flat predictions in entity linking and fine-grained entity typing, and achieving new state-of-the-art results for end-to-end models on the benchmark FIGER dataset. We also present two new human-annotated datasets containing wide and deep hierarchies which we will release to the community to encourage further research in this direction: MedMentions, a collection of PubMed abstracts in which 246k mentions have been mapped to the massive UMLS ontology; and TypeNet, which aligns Freebase types with the WordNet hierarchy to obtain nearly 2k entity types. In experiments on all three datasets we show substantial gains from hierarchy-aware training.

연구 동기 및 목표

• 정제된 온톨로지에서 유래한 계층적 구조를 통합함으로써 평탄한 예측 모델의 한계를 해결하기 위해 미세 분류된 실체 타이핑 및 연결을 개선한다.
• 복잡한 유형 및 실체 계층을 효과적으로 표현할 수 있는 새로운 계층적 손실 함수와 이차형 변환을 개발한다.
• 커뮤니티 사용을 위해 넓고 깊은 계층을 가진 두 개의 새로운 인간 주석이 부여된 데이터셋—MedMentions와 TypeNet—을 공개한다.
• 계층에 민감한 훈련을 통해 종단 간 실체 타이핑 및 연결에서 뚜렷한 성능 향상을 입증한다.
• 미세 분류된 실체 타이핑 및 연결 분야에서 계층에 민감한 모델 평가를 위한 새로운 벤치마크를 수립한다.

제안 방법

• 유형 및 실체 계층의 부모-자식 관계를 존중하도록 예측을 유도하는 계층적 손실 함수를 제안한다.
• 실체 언급과 그 유형 간의 계층적 관계를 모델링하기 위해 실수 및 복소수 이차형 변환을 도입한다.
• UMLS 온톨로지를 활용하여 246,000개의 PubMed 초록 언급을 포함하고 미세 분류된 유형으로 주석이 부여된 MedMentions 데이터셋을 구축한다.
• Freebase 유형을 WordNet과 정렬하여 약 2,000개의 실체 유형과 깊은 계층적 구조를 가진 TypeNet 데이터셋을 구성한다.
• FIGER, MedMentions, TypeNet에서 종단 간 모델에 제안된 방법을 적용하며, 훈련 중에 계층적 지도를 활용한다.
• 계층적 제약 조건을 유지하면서 실체 표현을 유형 공간으로 매핑하기 위해 이차형 변환을 활용한다.

실험 결과

연구 질문

• RQ1 평탄한 예측 모델 대비 계층적 지도 학습이 미세 분류된 실체 타이핑 및 연결에서 성능 향상에 뚜렷한 기여를 할 수 있는가?
• RQ2 실수 및 복소수 이차형 변환은 실체 타이핑에서 계층적 관계를 얼마나 효과적으로 표현하는가?
• RQ3 정제된 온톨로지에서 유래한 깊고 넓은 계층은 모델의 일반화 능력과 정확도를 얼마나 향상시키는가?
• RQ4 제안된 방법은 복잡한 계층을 활용하면서도 FIGER와 같은 벤치마크 데이터셋에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 새로운 데이터셋 MedMentions와 TypeNet은 계층에 민감한 모델의 개발 및 평가를 얼마나 잘 지원하는가?

주요 결과

• 제안된 계층에 민감한 방법은 종단 간 실체 타이핑 및 연결 분야에서 기준 벤치마크인 FIGER 데이터셋에서 새로운 최고 성능을 달성한다.
• 모든 세 개의 데이터셋—FIGER, MedMentions, TypeNet—에서 뚜렷한 성능 향상이 관찰되어 계층적 지도 학습의 효과성을 입증한다.
• 복소수 이차형 변환의 사용은 평탄한 기준 모델 대비 계층적 관계 모델링 능력이 뚜렷이 향상됨을 보여준다.
• MedMentions 데이터셋은 거대한 UMLS 온톨로지에서 유래한 유형으로 246,000개의 언급이 주석이 부여되어 대규모 평가를 가능하게 한다.
• TypeNet 데이터셋은 Freebase의 약 2,000개의 실체 유형을 WordNet 계층과 정렬하여 깊고 체계적인 유형 계층을 제공한다.
• 새로운 손실 함수와 이차형 레이어를 통한 계층 정보 통합은 평탄한 예측 모델 대비 일관된 성능 향상을 이끌어낸다.