[논문 리뷰] Knowledge Restoration-driven Prompt Optimization: Unlocking LLM Potential for Open-Domain Relational Triplet Extraction

Xiaonan Jing, Gongqing Wu외 3명|arXiv (Cornell University)|2026. 01. 21.

Topic Modeling인용 수 0

한 줄 요약

KRPO는 knowledge restoration에 의해 안내되는 자기 성찰 기반 프롬프트 최적화 루프와 동적 관계 표준화를 위한 메모리를 도입하여 LLM을 이용한 오픈 도메인 관계 트리플 추출(ORT)을 향상시킵니다. 세 가지 데이터셋과 다양한 LLM에서 강력한 베이스라인을 능가합니다.

ABSTRACT

Open-domain Relational Triplet Extraction (ORTE) is the foundation for mining structured knowledge without predefined schemas. Despite the impressive in-context learning capabilities of Large Language Models (LLMs), existing methods are hindered by their reliance on static, heuristic-driven prompting strategies. Due to the lack of reflection mechanisms required to internalize erroneous signals, these methods exhibit vulnerability in semantic ambiguity, often making erroneous extraction patterns permanent. To address this bottleneck, we propose a Knowledge Reconstruction-driven Prompt Optimization (KRPO) framework to assist LLMs in continuously improving their extraction capabilities for complex ORTE task flows. Specifically, we design a self-evaluation mechanism based on knowledge restoration, which provides intrinsic feedback signals by projecting structured triplets into semantic consistency scores. Subsequently, we propose a prompt optimizer based on a textual gradient that can internalize historical experiences to iteratively optimize prompts, which can better guide LLMs to handle subsequent extraction tasks. Furthermore, to alleviate relation redundancy, we design a relation canonicalization memory that collects representative relations and provides semantically distinct schemas for the triplets. Extensive experiments across three datasets show that KRPO significantly outperforms strong baselines in the extraction F1 score.

연구 동기 및 목표

• 오픈 도메인 관계 트리플 추출(ORTE)의 정적 프롬핑의 한계를 해결한다.
• LLM이 자기 성찰과 지식 복원을 통해 추출 품질을 지속적으로 개선하도록 한다.
• 동적 메모리 기반 관계 표준화 모듈을 통해 관계 중복을 완화한다.
• 다수의 데이터셋과 LLM 백본에서 KRPO의 효과를 입증한다.

제안 방법

• KRPO를 소개한다. 구체적으로: (i) 최적화 가능한 프롬프트를 가진 Relational Triplet Extraction, (ii) 의미 일관성을 평가하기 위한 NLI를 활용한 Knowledge Restoration 기반 자기 평가, (iii) 프롬프트를 다듬기 위한 텍스트 그래디언트를 생성하는 Gradient-based Prompt Optimization, (iv) 동적 메모리와 Cross-Encoder를 이용한 표준 스키마에 정렬하는 Relation Canonicalization을 포함한다.

실험 결과

연구 질문

• RQ1 지식 복원 신호가 오픈 도메인 설정의 ORTE 프롬프트를 개선하기 위한 고유한 피드백을 제공할 수 있는가?
• RQ2 그래디언트 기반 프롬프트 최적화 루프가 다양한 데이터셋과 LLM 백본에서 일관된 개선을 제공하는가?
• RQ3 메모리 강화 관계 표준화기가 의미 중복을 줄이고 ORTE의 KG 품질을 향상시킬 수 있는가?
• RQ4 KRPO가 엄격한 평가 설정에서 추출 정확도에 미치는 영향은 무엇인가?
• RQ5 KRPO 구성 요소가 서로 다른 LLM과 상호 작용하여 도메인 간 일반화를 달성하는 방식은?

주요 결과

Model (LLM)	WebNLG Partial F1	WebNLG Strict F1	WebNLG Exact F1	REBEL Partial F1	REBEL Strict F1	REBEL Exact F1	Wiki-NRE Partial F1	Wiki-NRE Strict F1	Wiki-NRE Exact F1	Avg. Partial F1	Avg. Strict F1	Avg. Exact F1
KRPO GPT-5 (DeepSeek-V3)	77.7	72.0	74.2	55.8	50.4	52.3	67.1	65.5	65.8	64.5	64.5	64.5

• KRPO는 WebNLG, REBEL, Wiki-NRE에서 Partial, Strict, Exact F1 설정 모두에서 강력한 베이스라인(EDEG 등)을 지속적으로 능가한다.
• 소형 모델에서의 개선이 더 두드러지며, 이는 프롬프트 최적화 및 표준화가 경량 LLM의 제한된 추론 능력을 완화함을 시사한다.
• Cross-Encoder 기반의 관계 표준화기가 Top-K 후보를 제공하여 임베딩 기반 유사성보다 우수한 의미 정렬을 달성한다.
• 자체 평가 신호가 더 높은 서멈(entailment)을 유지하게 하고 올바른 트리플과 잘못된 트리플 간의 구분을 더 정확하게 한다.
• 반복적 프롬프트 최적화는 배치별로 F1 이득이 축적되며, 특히 Strict/Exact 지표에서 두드러진다.