[논문 리뷰] Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction

Yixin Cao, Jun Kuang외 4명|arXiv (Cornell University)|2020. 11. 27.

Topic Modeling참고 문헌 50인용 수 5

한 줄 요약

이 논문은 희귀 관계에 대한 훈련 데이터가 부족한 문제를 해결하기 위해, 레이블이 없는 텍스트에서 관계 프로토타입을 추출하여 흔한 관계에서 희귀 관계로 지식을 전이하는 프로토타입 학습 방법을 제안한다. 공존 그래프를 구축하고, 첫 번째 및 두 번째 순서의 실체 근접도를 모델링함으로써, 실체 쌍과 관계 프로토타입 간의 거리를 최적화하여 NYT 및 Google Distant Supervision 데이터셋에서 최신 기준(SOTA) 대비 평균 F1 점수 4.1% 향상시켰다.

ABSTRACT

Relation Extraction (RE) is a vital step to complete Knowledge Graph (KG) by extracting entity relations from texts.However, it usually suffers from the long-tail issue. The training data mainly concentrates on a few types of relations, leading to the lackof sufficient annotations for the remaining types of relations. In this paper, we propose a general approach to learn relation prototypesfrom unlabeled texts, to facilitate the long-tail relation extraction by transferring knowledge from the relation types with sufficient trainingdata. We learn relation prototypes as an implicit factor between entities, which reflects the meanings of relations as well as theirproximities for transfer learning. Specifically, we construct a co-occurrence graph from texts, and capture both first-order andsecond-order entity proximities for embedding learning. Based on this, we further optimize the distance from entity pairs tocorresponding prototypes, which can be easily adapted to almost arbitrary RE frameworks. Thus, the learning of infrequent or evenunseen relation types will benefit from semantically proximate relations through pairs of entities and large-scale textual information.We have conducted extensive experiments on two publicly available datasets: New York Times and Google Distant Supervision.Compared with eight state-of-the-art baselines, our proposed model achieves significant improvements (4.1% F1 on average). Furtherresults on long-tail relations demonstrate the effectiveness of the learned relation prototypes. We further conduct an ablation study toinvestigate the impacts of varying components, and apply it to four basic relation extraction models to verify the generalization ability.Finally, we analyze several example cases to give intuitive impressions as qualitative analysis. Our codes will be released later.

연구 동기 및 목표

• 소수의 샘플 또는 새로운 관계가 풍부한 훈련 데이터를 확보하지 못하는 관계 추출의 장꼬리 문제를 해결한다.
• 관계 계층 구조나 실체 유형과 같은 외부 사전 지식에 의존도를 줄이고, 레이블이 없는 텍스트만을 활용한다.
• 학습된 의미 프로토타입을 통해 고자원 관계에서 저자원 관계로 지식을 전이할 수 있도록 한다.
• 프로토타입 기반의 전이 학습을 통합하여 기존의 RE 모델의 일반화 능력을 향상시킨다.
• 아키텍처 수정 없이 다양한 RE 아키텍처와 호환되는 일반화 가능한 프레임워크를 개발한다.

제안 방법

• 레이블이 없는 텍스트에서 공존 그래프를 구축하여 문장 간 실체 근접도를 모델링한다.
• 실체 간의 첫 번째 순서 근접도(직접 공존)와 두 번째 순서 근접도(공통 이웃)를 캡처한다.
• 관계의 의미적 의미와 근접도를 반영하는 잠재 표현으로서의 관계 프로토타입을 학습한다.
• 대비 손실 목적 함수를 사용하여 실체 쌍과 해당 관계 프로토타입 간의 거리를 최적화한다.
• 플러그 앤 플레이 메커니즘을 통해 기존의 RE 모델에 프로토타입 학습 모듈을 통합한다.
• 대규모 텍스트 정보를 활용하여 명시적 지도 없이도 관계 유형 간 의미적 유사도를 암묵적으로 캡처한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 텍스트에서 효과적으로 관계 프로토타입을 학습하여 장꼬리 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 제안된 프로토타입 학습 방법이 빈번한 관계에서 희귀 관계로 지식을 전이하는 방식은 어떠한가?
• RQ3 아키텍처 수정 없이 다양한 RE 프레임워크에 대해 모델이 얼마나 일반화되는가?
• RQ4 첫 번째 및 두 번째 순서 근접도는 프로토타입 품질과 최종 성능에 어떤 기여를 하는가?
• RQ5 프로토타입 기반 지식 전이가 희귀 및 새로운 관계 유형에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 NYT 및 Google Distant Supervision 데이터셋에서 최신 기준(SOTA) 기반의 여덟 개의 모델에 비해 평균 F1 점수 4.1% 향상시켰다.
• 특히 장꼬리 관계에서 뚜렷한 성능 향상이 관찰되어, 프로토타입 기반 지식 전이의 효과성을 확인했다.
• 제거 실험 결과, 첫 번째 및 두 번째 순서 근접도 모두 성능 향상에 기여하며, 두 번째 순서 근접도가 더 강한 인덕티브 바이어스를 제공하는 것으로 나타났다.
• 프로토타입 학습 모듈은 네 가지 다른 기본 RE 모델에 대해 잘 일반화되어 있어, 높은 호환성과 전이 가능성 잠재력을 보였다.
• 질적 사례 연구를 통해 의미적으로 유사한 관계(예: /location/us_state/capital 및 /location/fr_region/capital)가 학습된 프로토타입에 의해 정확히 그룹화되는 것으로 확인되었다.
• 관계 계층 구조와 같은 외부 지식에 대한 의존도를 줄였지만, 원시 텍스트에서 자기지도 학습 기반의 프로토타입 학습을 통해 강력한 성능을 달성했다.