[논문 리뷰] Prompt-based Zero-shot Relation Extraction with Semantic Knowledge Augmentation

Jiaying Gong, Hoda Eldardiry|arXiv (Cornell University)|2021. 12. 08.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 레이블이 없는 훈련 데이터 없이도 새로운 관계를 인식할 수 있도록 의미 지식 증강을 활용하는 프롬프트 기반의 제로샷 관계 추출 모델인 ZS-SKA를 제안한다. 단어 수준의 유사성 기반 번역 규칙을 통해 합성 훈련 인스턴스를 생성하고 지식 그래프를 이용해 가중치가 부여된 가상 레이블 프롬프트를 구성함으로써 ZS-SKA는 제로샷 관계 트리플릿 추출 성능을 향상시켜 FewRel, Wiki-ZSL, NYT 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

In relation triplet extraction (RTE), recognizing unseen relations for which there are no training instances is a challenging task. Efforts have been made to recognize unseen relations based on question-answering models or relation descriptions. However, these approaches miss the semantic information about connections between seen and unseen relations. In this paper, We propose a prompt-based model with semantic knowledge augmentation (ZS-SKA) to recognize unseen relations under the zero-shot setting. We present a new word-level analogy-based sentence translation rule and generate augmented instances with unseen relations from instances with seen relations using that new rule. We design prompts with weighted virtual label construction based on an external knowledge graph to integrate semantic knowledge information learned from seen relations. Instead of using the actual label sets in the prompt template, we construct weighted virtual label words. We learn the representations of both seen and unseen relations with augmented instances and prompts. We then calculate the distance between the generated representations using prototypical networks to predict unseen relations. Extensive experiments conducted on three public datasets FewRel, Wiki-ZSL, and NYT, show that ZS-SKA outperforms other methods under zero-shot setting. Results also demonstrate the effectiveness and robustness of ZS-SKA.

연구 동기 및 목표

• 레이블이 없는 훈련 인스턴스를 가진 새로운 관계를 인식하는 데 어려움을 해결하기 위해.
• 외부 지식 그래프에서 유래한 의미 지식을 프롬프트 설계에 통합하여 제로샷 관계 추출을 향상시키기 위해.
• 새로운 관계를 위한 고품질의 합성 훈련 데이터를 제안된 단어 수준의 문장 번역 규칙을 통해 생성하기 위해.
• 지식 그래프 임베딩에서 유도된 가중치가 부여된 가상 레이블을 사용하여 강력한 프롬프트 구성 메커니즘을 개발하기 위해.
• 데이터 증강, 의미 프롬프팅, 프로토타입 네트워크 분류를 조합하여 엔드 투 엔드 제로샷 관계 트리플릿 추출을 가능하게 하기 위해.

제안 방법

• 보기 관계 인스턴스에서 새로운 관계를 가진 증강된 훈련 인스턴스를 생성하기 위해 단어 수준의 유사성 기반 문장 번역 규칙을 사용한다.
• 지식 그래프를 활용하여 각 관계에 대해 의미적으로 관련된 단어를 식별하고, 이를 프롬프트 템플릿에서 가중치가 부여된 가상 레이블 단어를 구성하는 데 사용한다.
• 진짜 관계와의 의미 유사도 기반 거리 기반 제거 기법을 사용하여 가상 레이블을 정제함으로써 관련 없거나 노이즈가 있는 용어를 필터링한다.
• 실제 관계 레이블 대신 가중치가 부여된 가상 레이블을 사용하여 프롬프트를 구성함으로써 모델이 새로운 관계로 일반화할 수 있도록 한다.
• 각 관계 클래스의 프로토타입 임베딩을 계산하기 위해 프로토타입 네트워크를 사용하고, 쿼리 문장 임베딩과 프로토타입 간의 유클리드 거리를 분류에 사용한다.
• 이름 엔터티 인식기(NER)를 적용하여 엔터티 유형을 추출하고, 이를 프롬프트 템플릿에서의 슈퍼클래스 제약 조건에 기반해 예측된 관계와 필터링 및 매칭한다.

실험 결과

연구 질문

• RQ1 의미 지식 증강을 통해 새로운 관계에 대한 합성 훈련 데이터를 생성함으로써 제로샷 관계 트리플릿 추출 성능을 향상시킬 수 있는가?
• RQ2 지식 그래프 기반의 가상 레이블 구성 메커니즘이 노이즈를 줄이고 새로운 관계로의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 프롬프트 템플릿에서 가중치가 부여된 가상 레이블을 사용할 경우, 직접적인 레이블 사용 대비 제로샷 관계 추출 성능 향상에 기여하는가?
• RQ4 데이터 증강과 의미 프롬프팅의 통합은 다양한 데이터셋에서 제로샷 관계 트리플릿 추출의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 노이즈가 많은 데이터셋과 깨끗한 데이터셋 모두에서 최적의 성능을 내기 위해 노이즈 제거 임계값과 가상 레이블 수의 하이퍼파라미터 설정은 어떻게 해야 하는가?

주요 결과

• ZS-SKA는 제로샷 관계 트리플릿 추출 설정에서 세 가지 공개 벤치마크—FewRel, Wiki-ZSL, NYT—에서 최신 기술 성능을 달성한다.
• 모델은 새로운 관계에 대한 레이블이 전혀 없는 조건에서 기존 최신 기술을 능가하며, 뛰어난 일반화 능력을 보여준다.
• 가상 레이블 구성 과정에서의 노이즈 제거 기법은 지식 그래프에서 관련 없는 단어를 효과적으로 필터링하여 프롬프트 품질과 모델의 강건성을 향상시킨다.
• 모든 데이터셋에서 최적의 성능을 내기 위해 임계값 τs는 0.5에서 0.6 사이가 적합하며, 노이즈 감소와 의미 커버리지 사이의 균형을 이룬다.
• 가상 레이블 단어 수(n)를 늘일수록 더 많은 의미 지식을 통합할 수 있어 쿼리 임베딩과 관계 프로토타입 간의 거리가 짧아지고 성능 향상이 이루어진다.
• 노이즈가 많은 데이터셋인 NYT에서 더 강한 성능 향상이 나타나, 노이즈 제거 및 지식 통합 구성 요소가 실제 세계의 불완전한 데이터 환경에서 특히 효과적이라는 것을 시사한다.