[논문 리뷰] Collective Learning From Diverse Datasets for Entity Typing in the Wild

Abhishek Singh, Amar Prakash Azad외 3명|arXiv (Cornell University)|2018. 10. 20.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

이 논문은 테스트 시점에서 도메인과 레이블 세트 지식이 알려지지 않은 환경에서 엔티티 타이핑을 위한 집단 학습 프레임워크(CL F)를 제안한다. 다양한 데이터셋에서 유니폼한 계층적 레이블 세트(UHLS)를 구성하고, 부분 계층적 손실을 사용해 단일 신경 분류기 모델을 훈련시킴으로써, 개별 데이터셋에 존재하지 않은 세분화된 레이블에 대해서도 도메인 간 일반화가 가능하게 한다. 종합적인 평가에서 전문화된 모델들을 능가한다.

ABSTRACT

Entity typing (ET) is the problem of assigning labels to given entity mentions in a sentence. Existing works for ET require knowledge about the domain and target label set for a given test instance. ET in the absence of such knowledge is a novel problem that we address as ET in the wild. We hypothesize that the solution to this problem is to build supervised models that generalize better on the ET task as a whole, rather than a specific dataset. In this direction, we propose a Collective Learning Framework (CLF), which enables learning from diverse datasets in a unified way. The CLF first creates a unified hierarchical label set (UHLS) and a label mapping by aggregating label information from all available datasets. Then it builds a single neural network classifier using UHLS, label mapping, and a partial loss function. The single classifier predicts the finest possible label across all available domains even though these labels may not be present in any domain-specific dataset. We also propose a set of evaluation schemes and metrics to evaluate the performance of models in this novel problem. Extensive experimentation on seven diverse real-world datasets demonstrates the efficacy of our CLF.

연구 동기 및 목표

• 테스트 인스턴스의 도메인과 타겟 레이블 세트가 알려지지 않은 실외 환경에서의 엔티티 타이핑 문제를 해결하기 위해, 다양한 데이터셋 간 일반화가 가능한 모델이 필요하다.
• 다양한 도메인과 레이블 세트를 가진 다수의 이질적인 엔티티 타이핑 데이터셋에서의 집단 학습을 가능하게 하는 통합 프레임워크를 개발한다.
• 다양한 데이터셋의 세분화된 레이블을 통합하면서 계층적 관계를 유지하는 유니폼한 계층적 레이블 세트(UHLS)를 구축한다.
• 모든 도메인에서 가장 세분화된 레이블을 예측할 수 있는 단일 분류기를 설계한다. 이는 특정 도메인 내 데이터셋에 존재하지 않은 레이블일지라도 가능하게 한다.
• 실외 엔티티 타이핑 문제에 특화된 새로운 평가 체계와 지표를 제안하여, 일반화 성능 평가의 공정성을 확보한다.

제안 방법

• 일곱 개의 다양한 엔티티 타이핑 데이터셋에서 레이블을 취합하고 융합하여, 인간의 판단을 활용해 굵은부터 세밀한 레이블 관계를 설정함으로써 유니폼한 계층적 레이블 세트(UHLS)를 구성한다.
• 데이터셋 별 레이블을 UHLS 노드로의 일대다 레이블 매핑을 생성하여, 서로 다른 데이터셋의 레이블을 동일한 계층에서 표현할 수 있도록 한다.
• UHLS와 레이블 매핑을 사용해 병합된 데이터셋을 기반으로 LSTM 기반 신경망 분류기를 훈련시키며, 다수의 레이어 레이블 예측을 지원하기 위해 부분 계층적 손실 함수를 적용한다.
• Xu와 Barbosa(2018)가 제안한 부분 계층 인식 손실 함수를 적용하여, 조건부로만 레이블이 제공되는 경우에도 계층적 레이블 구조를 통해 역전파 신호를 전달할 수 있도록 한다.
• 일곱 개의 모든 데이터셋의 테스트 인스턴스를 병합해 다도메인 테스트 세트를 구성함으로써, 도메인과 레이블 유형 간의 일반화 성능을 평가한다.
• 기존의 전이 학습과 달리, 원천 또는 대상 데이터셋을 지정하지 않고, 훈련 중에 데이터셋 간 지식 흐름을 활용함으로써 双방향 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 엔티티 타이핑 데이터셋에서 훈련된 단일 모델이, 개별 데이터셋에 존재하지 않는 세분화된 레이블을 예측할 수 있는가?
• RQ2 통합된 계층적 레이블 세트(UHLS)는 겹치는 레이블과 고유한 레이블을 가진 데이터셋 간의 집단 학습을 얼마나 효과적으로 지원하는가?
• RQ3 부분 계층적 손실 함수를 사용한 집단 학습이, 모델 앙상블나 도메인 전용 모델 대비 제로샷 일반화 성능을 향상시키는가?
• RQ4 생물의학, 뉴스, 웹 포럼 등 다양한 도메인의 혼합 데이터로 훈련된 모델이, 훈련 데이터에 포함되지 않은 도메인의 테스트 인스턴스에서 세분화된 타입을 얼마나 잘 예측할 수 있는가?
• RQ5 제안된 평가 체계와 지표는 실외 엔티티 타이핑 환경에서 모델의 진정된 일반화 능력을 얼마나 정확히 반영하는가?

주요 결과

• 모델은 최적의 상황에서 평가되는 도메인 전용 모델의 앙상블보다 병합된 테스트 세트에서 더 뛰어난 성능을 보였다.
• 훈련 데이터에 존재하지 않은 도메인에서도 세분화된 레이블을 성공적으로 예측했다. 예를 들어, CoNLL 데이터셋의 'Wallaby'에 대해 '스포츠 팀'을 정확히 예측했다.
• 보완적인 데이터셋의 레이블까지 일반화할 수 있었다. 예를 들어, CADEC 데이터셋에서만 존재하는 'ADR'(약물 부작용) 레이블을 BC5CDR 데이터셋의 임상 문장에 대해 성공적으로 할당했다.
• 프레임워크는 원천이나 목적지가 없는 다방향 지식 흐름을 가능하게 하여, 기존의 전이 학습이나 다중 작업 학습과 근본적으로 다름을 보였다.
• UHLS 구축에 소요된 인간 레이블링 노력은 모든 데이터셋에 대해 세분화된 레이블을 완전히 수동으로 레이블링하는 것에 비해 약 4개의 지수 차수만큼 적었다.
• 일곱 개의 다양한 데이터셋에 대한 광범위한 실험을 통해, UHLS와 부분 손실을 활용한 집단 학습이 실외 엔티티 타이핑 벤치마크에서 뛰어난 일반화 성능을 달성함을 입증했다.