[논문 리뷰] CoType: Joint Extraction of Typed Entities and Relations with Knowledge Bases

Xiang Ren, Zeqiu Wu외 6명|arXiv (Cornell University)|2016. 10. 27.

Topic Modeling참고 문헌 48인용 수 68

한 줄 요약

CoType는 지식 기반에서 얻은 원거리 지도 학습을 사용하여 유형이 부여된 개체와 관계를 동시에 추출하기 위한 도메인 독립적 프레임워크를 제안한다. 이는 새로운 부분 레이블 손실과 개체-관계 번역 함수를 활용한 맥락 인식형, 노이즈에 강건한 임베딩 학습을 통해 뉴스, 생물의학, 일반 도메인에서 최신 기술 대비 평균 F1 점수 25% 향상 달성.

ABSTRACT

Extracting entities and relations for types of interest from text is important for understanding massive text corpora. Traditionally, systems of entity relation extraction have relied on human-annotated corpora for training and adopted an incremental pipeline. Such systems require additional human expertise to be ported to a new domain, and are vulnerable to errors cascading down the pipeline. In this paper, we investigate joint extraction of typed entities and relations with labeled data heuristically obtained from knowledge bases (i.e., distant supervision). As our algorithm for type labeling via distant supervision is context-agnostic, noisy training data poses unique challenges for the task. We propose a novel domain-independent framework, called CoType, that runs a data-driven text segmentation algorithm to extract entity mentions, and jointly embeds entity mentions, relation mentions, text features and type labels into two low-dimensional spaces (for entity and relation mentions respectively), where, in each space, objects whose types are close will also have similar representations. CoType, then using these learned embeddings, estimates the types of test (unlinkable) mentions. We formulate a joint optimization problem to learn embeddings from text corpora and knowledge bases, adopting a novel partial-label loss function for noisy labeled data and introducing an object "translation" function to capture the cross-constraints of entities and relations on each other. Experiments on three public datasets demonstrate the effectiveness of CoType across different domains (e.g., news, biomedical), with an average of 25% improvement in F1 score compared to the next best method.

연구 동기 및 목표

• 인간 레이블이 없는 인간 레이블이 없는 훈련 데이터를 갖는 저자원, 도메인 특화 텍스트 코퍼스에서 유형이 부여된 개체와 관계의 동시 추출 문제를 해결한다.
• 인간 레이블이 있는 코퍼스와 사전 훈련된 개체 검출기 의존하는 전통적인 파이프라인 방법에서 발생하는 오류 전파 및 도메인 의존성 문제를 해결한다.
• 지식 기반에서 자동으로 유도된 레이블에 포함된 오류로 인한 노이즈에 강건한 프레임워크를 개발한다.
• 공유된 저차원 표현을 학습하여 유형 유사성과 상호 의존성을 유지함으로써 개체 및 관계 언급을 동시에 모델링한다.
• 사전 훈련된 명명된 개체 인식기 의존성을 제거하고 데이터 기반 세그멘테이션 알고리즘을 도입함으로써 엔드 투 엔드, 도메인 독립적 추출을 가능하게 한다.

제안 방법

• 사전 훈련된 NER 모델에 의존하지 않고, 원시 텍스트에서 직접 후보 개체 언급을 추출하기 위해 도메인 독립적 텍스트 세그멘테이션 알고리즘을 적용한다.
• 공유된 표현 학습 프레임워크를 사용하여 개체 언급, 관계 언급, 텍스트 특징, 유형 레이블을 두 개의 저차원 공간(개체용, 관계용)에 동시에 임베딩한다.
• 원거리 지도 학습에서 발생하는 노이즈가 많고 다중 유형의 레이블을 처리할 수 있도록 설계된 새로운 부분 레이블 손실 함수를 최소화하는 공동 최적화 문제를 설정한다.
• 개체와 관계 간의 상호 제약 조건을 모델링하기 위해 객체 '번역' 함수를 도입하여 상호 의존성(예: 개체 유형이 관계 유형에 영향을 주고, 반대로 관계 유형이 개체 유형에 영향을 주는 등)을 포착한다.
• 학습된 임베딩를 사용하여 공유된 임베딩 공간에서 유사도를 측정함으로써 테스트 언급(연결 불가능한 언급)의 유형을 예측한다.
• 청결한 인간 레이블이 없는 데이터에 의존하지 않고, 레이블이 약한 지식 기반에서 유도된 약한 지도 학습 레이블과 함께 비정상 텍스트 코퍼스를 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 원거리 지도 학습 조건에서, 유형이 부여된 개체와 관계 간의 상호의존성을 효과적으로 모델링할 수 있는 공동 임베딩 프레임워크는 가능한가?
• RQ2 지식 기반에서 자동으로 생성된 훈련 데이터의 레이블 노이즈에 강건한 모델은 어떻게 설계할 수 있는가?
• RQ3 개체와 관계 간의 상호 제약 조건을 모델링할 경우, 독립적 또는 파이프라인 방법 대비 타입 예측 정확도는 어느 정도 향상되는가?
• RQ4 제안된 도메인 독립적 프레임워크는 재학습이나 인간 레이블 없이도 뉴스, 생물의학, 일반 텍스트와 같은 다양한 도메인에서 기존 방법을 초월할 수 있는가?
• RQ5 기존의 다중 레이블 또는 단일 레이블 학습 방법에 비해 제안된 부분 레이블 손실 함수는 모호하거나 다수의 후보 레이블을 더 잘 다룰 수 있는가?

주요 결과

• CoType는 NYT, Wiki-KBP, BioInfer 세 개의 공개 데이터셋에서 최신 기술 대비 평균 F1 점수 25% 향상 달성.
• Wiki-KBP 데이터셋에서 CoType은 'person:children' 및 'person:place_of_death'와 같이 복잡하고 맥락에 민감한 관계를 정확히 식별하지만, 다른 방법들은 실패하거나 잘못된 유형을 할당한다.
• 모델은 높은 노이즈 수준에도 강건함—BioInfer 데이터셋에서 개체 언급의 59.8%와 관계 언급의 41.1%가 노이즈이지만 성능 저하 없이 유지된다.
• 제거 실험 결과, 부분 레이블 손실과 번역 함수가 핵심임을 확인—CoType-EM(번역 기능 없음)과 CoType-RM(부분 레이블 손실 없음)은 성능이 뚜렷이 저하됨.
• MultiR 및 Logistic과 같은 강력한 베이스라인 모델보다도 성능이 뛰어나며, 이는 주로 레이블 노이즈 또는 공동 모델링 부족으로 인한 유형 오분류나 유효한 관계 탐지 실패 때문임.
• CoType는 뉴스(NYT), 일반 지식(Wiki-KBP), 생물의학 텍스트(BioInfer) 등 다양한 도메인으로의 일반화 성능을 성공적으로 달성하여 강력한 도메인 독립성을 입증함.