[논문 리뷰] Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks

Ningyu Zhang, Shumin Deng외 5명|arXiv (Cornell University)|2019. 03. 04.

Advanced Graph Neural Networks참고 문헌 42인용 수 7

한 줄 요약

이 논문은 지식 그래프 임베딩과 그래프 컨볼루션 네트워크 기반의 접근법을 제안하여 데이터가 풍부한 헤드 관계에서 데이터가 부족한 테일 관계로 의미 지식을 전이함으로써 장꼬리 관계 추출 성능을 햖थ다. 굵은-세밀한 지식 인식 주의 메커니즘을 통합함으로써 모델은 NYT 데이터셋에서 장꼬리 관계에 대해 성능을 크게 향상시켰으며, 특히 자원이 부족한 환경에서 베이스라인을 능가한다.

ABSTRACT

We propose a distance supervised relation extraction approach for long-tailed, imbalanced data which is prevalent in real-world settings. Here, the challenge is to learn accurate "few-shot" models for classes existing at the tail of the class distribution, for which little data is available. Inspired by the rich semantic correlations between classes at the long tail and those at the head, we take advantage of the knowledge from data-rich classes at the head of the distribution to boost the performance of the data-poor classes at the tail. First, we propose to leverage implicit relational knowledge among class labels from knowledge graph embeddings and learn explicit relational knowledge using graph convolution networks. Second, we integrate that relational knowledge into relation extraction model by coarse-to-fine knowledge-aware attention mechanism. We demonstrate our results for a large-scale benchmark dataset which show that our approach significantly outperforms other baselines, especially for long-tail relations.

연구 동기 및 목표

• 부족한 훈련 데이터로 인해 성능이 떨어지는 장꼬리 관계 추출 문제 해결
• 데이터가 풍부한 헤드 관계와 데이터가 부족한 테일 관계 간의 의미적 상관관계를 활용하여 소수 샘플 학습 향상
• 관계 클래스 간의 암묵적 및 명시적 관계 지식을 효과적으로 학습하고 통합하는 방법 개발
• 관계적 맥락을 고려한 문장 표현을 향상시키기 위해 굵은-세밀한 지식 인식 주의 메커니즘 설계
• 계층적 지식 전이를 통해 희귀 관계 예측의 일반화 능력 향상 및 불확실성 감소

제안 방법

• 잠재 공간에서 의미적으로 유사한 관계 클래스 간의 암묵적 관계 지식을 학습하기 위해 지식 그래프 임베딩 활용
• 관계 계층의 구조적 의존성을 포착함으로써 명시적 관계 지식을 학습하기 위해 그래프 컨볼루션 네트워크(GCNs) 적용
• 계층적 관계 신호를 사용해 문장 주의를 이끌어내는 굵은-세밀한 지식 인식 주의 메커니즘을 통해 관계 지식을 관계 추출 모델에 통합
• 컨volutional 신경망(CNNs)을 사용해 입력 문장을 인코딩하여 문맥적 문장 표현 확보
• 문장 수준의 표현과 관계 지식을 결합하여 관계 분류를 위한 풍부한 백 수준 표현 형성
• 장꼬리 관계 성능에 중점을 두고 NYT 데이터셋에서 원거리 감독을 사용해 엔드 투 엔드 모델 훈련

실험 결과

연구 질문

• RQ1 지식 그래프에서 유도된 암묵적 및 명시적 관계 지식은 장꼬리 관계에 대한 소수 샘플 학습에 효과적인가?
• RQ2 굵은-세밀한 지식 인식 주의 메커니즘은 희귀 관계에 대해 관련 문장을 올바르게 선택하는 데 얼마나 효과적인가?
• RQ3 의미적으로 유사한 헤드 관계에서의 지식 전이가 데이터가 부족한 테일 관계의 성능 향상에 기여하는가?
• RQ4 지식 그래프 임베딩과 GCN은 관계 클래스 간의 관계 구조 학습에서 어떻게 비교되는가?
• RQ5 관계 지식 통합이 알려지지 않았거나 희귀한 관계 예측의 불확실성을 어느 정도 감소시키는가?

주요 결과

• 제안된 모델은 특히 장꼬리 관계에서 베이스라인 모델을 크게 능가하며 지식 전이의 효과성을 입증한다.
• 굵은-세밀한 지식 인식 주의 메커니즘은 주의 정렬을 향상시키며, KATT가 HATT보다 희귀 관계에 대해 정확한 문장을 선택하는 데 더 뛰어나다.
• GCN을 제거하면 성능에 심각한 하락이 발생하여, 관계 클래스 간의 명시적 관계 구조 학습에서 GCN의 역할을 확인한다.
• 실험 결과, 지식 그래프 임베딩이나 워드 임베딩만 사용할 경우 성능이 떨어지며, 암묵적 및 명시적 지식을 모두 활용하는 것이 필수적임을 입증한다.
• t-SNE 시각화 결과, GCN과 지식 그래프 임베딩이 임베딩 공간에서 의미적으로 유사한 관계 클래스를 더 가까이 모은다는 것을 확인하여 장꼬리 일반화에 기여한다.
• 모델은 /location/br_state/capital와 같이 최소 4개의 훈련 인스턴스만으로도 강력한 성능 유지를 보이며, 자원이 부족한 환경에서의 강인함을 입증한다.