[논문 리뷰] RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction

Yew Ken Chia, Lidong Bing외 2명|arXiv (Cornell University)|2022. 03. 17.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 검색된 관계 유형에 대한 훈련 예제가 전혀 없는 상황에서, 미리 정의되지 않은 관계에 대해 전체 (주어, 관계, 목적어) 삼중항을 추출하는 새로운 작업인 Zero-Shot Relation Triplet Extraction (ZeroRTE)를 소개한다. 본 논문은 관계 레이블에 조건이 붙은 구조적 프롬프트 템플릿을 사용하여 대규모 언어 모델(LLM)을 활용해 합성 훈련 데이터를 생성하는 RelationPrompt를 제안하며, 문장당 다중 삼중항을 추출하기 위한 Triplet Search Decoding 기법을 도입하여 FewRel 및 Wiki-ZSL에서 최고 성능을 기록한다.

ABSTRACT

Despite the importance of relation extraction in building and representing knowledge, less research is focused on generalizing to unseen relations types. We introduce the task setting of Zero-Shot Relation Triplet Extraction (ZeroRTE) to encourage further research in low-resource relation extraction methods. Given an input sentence, each extracted triplet consists of the head entity, relation label, and tail entity where the relation label is not seen at the training stage. To solve ZeroRTE, we propose to synthesize relation examples by prompting language models to generate structured texts. Concretely, we unify language model prompts and structured text approaches to design a structured prompt template for generating synthetic relation samples when conditioning on relation label prompts (RelationPrompt). To overcome the limitation for extracting multiple relation triplets in a sentence, we design a novel Triplet Search Decoding method. Experiments on FewRel and Wiki-ZSL datasets show the efficacy of RelationPrompt for the ZeroRTE task and zero-shot relation classification. Our code and data are available at github.com/declare-lab/RelationPrompt.

연구 동기 및 목표

• 테스트 관계 유형에 대한 훈련 예제가 전혀 없는 상황에서 전체 삼중항 예측을 위한 제로샷 관계 추출 연구의 부족을 보완하기 위해.
• 낮은 자원 환경에서의 관계 추출에서 데이터 부족 문제를 해결하기 위해, 미리보기 없는 관계에 대해 합성 훈련 데이터를 생성하기 위해.
• 해당 관계에 대한 애너테이션된 훈련 예제가 필요 없이도 새로운 관계에 일반화할 수 있는 방법을 개발하기 위해.
• 제로샷 환경에서 단일 문장으로부터 다수의 관계 삼중항을 효과적이고 해석 가능한 방식으로 추출할 수 있도록 하기 위해.

제안 방법

• 관계 레이블 프롬프트와 언어 모델 생성을 조합하여, 합성 관계 삼중항 예제를 생성할 수 있는 구조적 프롬프트 템플릿을 설계하기 위해.
• 언어 모델을 관계 레이블에 따라 조건화하여, 주어와 목적어를 포함한 맥락적으로 타당한 구조적 문장을 생성하기 위해.
• 단일 입력 문장으로부터 다수의 관계 삼중항을 반복적으로 식별하고 추출하기 위해 Triplet Search Decoding 기법을 도입하기 위해.
• 생성된 합성 데이터를 기반으로 관계 추출 모델을 미세조정하여, 새로운 관계에 대해 제로샷 추론을 수행하기 위해.
• 다양하고 현실적인 합성 샘플을 생성하기 위해 대규모 사전 훈련된 언어 모델의 의미적 및 사실 지식을 활용하기 위해.
• 성능 향상과 노이즈 데이터로 인한 과적합 방지를 고려해 합성 샘플의 수(예: 1000개)를 최적화하기 위해.

실험 결과

연구 질문

• RQ1 언어 모델은 관계 삼중항 추출 맥락에서 새로운 관계 유형에 대해 고품질의 구조적 합성 데이터를 생성할 수 있는가?
• RQ2 제안된 RelationPrompt 프레임워크는 새로운 관계에 대한 제로샷 일반화를 얼마나 효과적으로 가능하게 하는가?
• RQ3 Triplet Search Decoding 기법은 제로샷 환경에서 단일 문장으로부터 다수의 관계 삼중항을 신뢰성 있게 추출할 수 있는가?
• RQ4 성능 향상과 과적합 방지를 균형 잡기 위해 최적의 합성 데이터 스케일은 무엇인가?
• RQ5 기존의 제로샷 관계 분류 베이스라인 대비 모델의 일반화 능력은 어떻게 비교되는가?

주요 결과

• RelationPrompt는 ZeroRTE 벤치마크에서 기존의 제로샷 관계 분류 방법보다 뚜렷이 뛰어난 성능을 보이며, 강력한 제로샷 일반화 능력을 입증한다.
• FewRel 및 Wiki-ZSL 데이터셋에서 최고 성능을 기록하여, 낮은 자원 환경에서의 관계 추출에 효과적임을 입증한다.
• 관계당 약 1000개의 합성 샘플을 생성할 경우 최적의 성능를 달성하며, 더 많은 양은 노이즈로 인한 과적합을 유도함을 확인하였다.
• 정성적 분석 결과, 생성기에서 대부분의 관계에 대해 맥락적으로 타당한 문장이 생성되었지만, 일부 의미 관계에서는 엔티티-관계 일치가 일관되지 않은 경향이 있었다.
• Triplet Search Decoding 기법은 단일 문장으로부터 다수의 삼중항을 효과적으로 추출하여, 정확도와 해석 가능성 향상에 기여한다.
• 실제 관계 유형인 'Investor', 'Defeated By', 'Currency Of' 등에도 잘 일반화됨을 통해 생성된 데이터의 강력한 의미 기반 특성을 입증한다.