[논문 리뷰] Few-shot Relation Extraction via Bayesian Meta-learning on Relation Graphs

Meng Qu, Tianyu Gao외 2명|arXiv (Cornell University)|2020. 07. 05.

Topic Modeling참고 문헌 33인용 수 65

한 줄 요약

이 논문은 글로벌 관계 그래프를 사용하여 사전 지식을 모델링하고 확률적 그래디언트 Langevin 다이내믹스를 통해 관계 프로토타입의 포스트eri오 샘플링을 수행하여 소수 예제 및 제로샷 관계 추출을 위한 베이지안 메타러닝 프레임워크를 제안한다.

ABSTRACT

This paper studies few-shot relation extraction, which aims at predicting the relation for a pair of entities in a sentence by training with a few labeled examples in each relation. To more effectively generalize to new relations, in this paper we study the relationships between different relations and propose to leverage a global relation graph. We propose a novel Bayesian meta-learning approach to effectively learn the posterior distribution of the prototype vectors of relations, where the initial prior of the prototype vectors is parameterized with a graph neural network on the global relation graph. Moreover, to effectively optimize the posterior distribution of the prototype vectors, we propose to use the stochastic gradient Langevin dynamics, which is related to the MAML algorithm but is able to handle the uncertainty of the prototype vectors. The whole framework can be effectively and efficiently optimized in an end-to-end fashion. Experiments on two benchmark datasets prove the effectiveness of our proposed approach against competitive baselines in both the few-shot and zero-shot settings.

연구 동기 및 목표

• 라벨링 데이터가 제한된 상황에서 소수 예제 관계 추출의 동기를 제시한다.
• 다양한 관계 간의 관계를 포착하기 위해 글로벌 관계 그래프를 활용한다.
• 프로토타입 벡터를 단일 지점 추정이 아닌 포스트eri오로 다루어 불확실성을 처리한다.
• Wikidata 임베딩에서 파생된 글로벌 관계 그래프에 대한 그래프 신경망으로 사전 p(v_T|G)를 매개하고 Langevin 다이내믹스로 포스트eri오 샘플링을 적용한다.
• FewRel과 NYT-25에서 소수 샷 및 제로샷 설정 모두에서 효율성을 입증한다.

제안 방법

• 각 관계를 프로토타입 벡터로 표현하고 이를 포스트eri오기 있는 확률 변수로 처리한다.
• 전역 관계 그래프에서 그래프 신경망을 사용하여 사전 p(v_T|G)를 매개한다(위키데이터 임베딩에서 파생된 그래프).
• 지원 문장들에 대한 가능도 p(y_S|x_S, v_T)를 프로토타입 벡터의 소프트맥스와 문장 인코더 E를 사용해 정의한다.
• 복잡한 포스트eri오 p(v_T|x_S,y_S,G)를 몬테카를로 샘플링과 확률적 그래디언트 Langevin 다이내믹스로 근사하여 다수의 프로토타입 샘플을 도출한다.
• 샘플링된 프로토타입을 사용하여 질의 예측에 대한 p(y_Q|x_Q, v_T)를 계산하고 엔드투엔드로 최적화한다.
• 수렴을 가속하기 위해 그래프 기반 사전과 지원 세트 인코딩을 결합한 이론적으로 합리화된 스키마로 Langevin 샘플을 초기화한다.

실험 결과

연구 질문

• RQ1 글로벌 관계 그래프가 다양한 관계 간 소수 예제 관계 추출의 이전 지식을 전이 가능하도록 제공할 수 있는가?
• RQ2 포스트eri오 프로토타입 벡터를 가진 베이지안 메타러닝이 소수 예제와 제로샷 설정에서 점 추정 메타러닝 방법을 능가하는가?
• RQ3 그래프 기반의 사전을 도입하는 것이 태스크 일반화와 제로샷 능력에 어떤 영향을 미치는가?
• RQ4 관계 프로토타입의 포스트eri오를 샘플링하기 위해 확률적 그래디언트 Langevin 다이내믹스가 복잡한 포스트eri오에서 얼마나 효과적인가?

주요 결과

• FewRel 테스트 세트에서 REGRAB은 강력한 성능을 보이며 예: 5-Way 1-Shot: 90.30% 및 5-Way 5-Shot: 94.25%.
• NYT-25 테스트 세트에서 REGRAB은 5-Way 1-Shot: 89.76%, 5-Way 5-Shot: 95.66%, 10-Way 1-Shot: 84.11%, 10-Way 5-Shot: 92.48%를 달성한다.
• 그래프 기반 사전 제거의 Ablation은 정확도를 감소시킴(FewRel 검증, 5-Way 1-Shot: 87.95 대 85.82; 10-Way 1-Shot: 80.26 대 77.70).
• 제로샷 성능은 글로벌 관계 그래프를 사용해 사전을 계산할 때도 여전히 효과적이며, 여러 설정에서 비 그래프 베이스라인보다 우수하다.