[論文レビュー] Knowledge Restoration-driven Prompt Optimization: Unlocking LLM Potential for Open-Domain Relational Triplet Extraction

Xiaonan Jing, Gongqing Wu+3 more|arXiv (Cornell University)|Jan 21, 2026

Topic Modeling被引用数 0

ひとこと要約

KRPO は知識復元に導かれた自己反省ベースのプロンプト最適化ループと、動的な関係標準化メモリを組み合わせて、LLMs を用いたオープンドメイン関係三つ組抽出を改善します。3つのデータセットと様々な LLM で強力なベースラインを上回ります。

ABSTRACT

Open-domain Relational Triplet Extraction (ORTE) is the foundation for mining structured knowledge without predefined schemas. Despite the impressive in-context learning capabilities of Large Language Models (LLMs), existing methods are hindered by their reliance on static, heuristic-driven prompting strategies. Due to the lack of reflection mechanisms required to internalize erroneous signals, these methods exhibit vulnerability in semantic ambiguity, often making erroneous extraction patterns permanent. To address this bottleneck, we propose a Knowledge Reconstruction-driven Prompt Optimization (KRPO) framework to assist LLMs in continuously improving their extraction capabilities for complex ORTE task flows. Specifically, we design a self-evaluation mechanism based on knowledge restoration, which provides intrinsic feedback signals by projecting structured triplets into semantic consistency scores. Subsequently, we propose a prompt optimizer based on a textual gradient that can internalize historical experiences to iteratively optimize prompts, which can better guide LLMs to handle subsequent extraction tasks. Furthermore, to alleviate relation redundancy, we design a relation canonicalization memory that collects representative relations and provides semantically distinct schemas for the triplets. Extensive experiments across three datasets show that KRPO significantly outperforms strong baselines in the extraction F1 score.

研究の動機と目的

• オープンドメイン RELATIONAL TRIPLET 抽出 (ORTE) における静的プロンプトの限界を解消する。
• 自己反省と知識復元を通じて抽出品質を継続的に改善できるようにLLMs を促す。
• 動的なメモリ付き関係標準化モジュールで関係の冗長性を低減する。
• 複数のデータセットと LLM バックボーンにわたる KRPO の有効性を示す。

提案手法

• KRPO を導入する： (i) 最適化可能なプロンプトを用いた Relational Triplet Extraction、(ii) NLI を用いた意味的一貫性を評価する Knowledge Restoration ベースの自己評価、(iii) テキスト勾配を生成してプロンプトを洗練する Gradient-based Prompt Optimization、(iv) ダイナミックメモリと Cross-Encoder アラインメントによる関係標準化と標準スキーマへの整合。

実験結果

リサーチクエスチョン

• RQ1 知識復元信号は、オープン領域設定の ORTE におけるプロンプト改善の内部フィードバックを提供できるか。
• RQ2 勾配ベースのプロンプト最適化ループは、さまざまなデータセットと LLM バックボーンで一貫した改善を生むか。
• RQ3 メモリ増強型の関係標準化器は、意味的冗長性を減らし ORTE の KG 品質を向上させるか。
• RQ4 KRPO は厳密評価設定下で抽出忠実度にどのような影響を与えるか。
• RQ5 KRPO の各構成要素は異なる LLM とどのように相互作用し、ドメイン横断的な一般化を達成するか。

主な発見

Model (LLM)	WebNLG Partial F1	WebNLG Strict F1	WebNLG Exact F1	REBEL Partial F1	REBEL Strict F1	REBEL Exact F1	Wiki-NRE Partial F1	Wiki-NRE Strict F1	Wiki-NRE Exact F1	Avg. Partial F1	Avg. Strict F1	Avg. Exact F1
KRPO GPT-5 (DeepSeek-V3)	77.7	72.0	74.2	55.8	50.4	52.3	67.1	65.5	65.8	64.5	64.5	64.5

• KRPO は WebNLG、REBEL、Wiki-NRE の Partial、Strict、Exact F1 の各設定で、EDC などの強力なベースラインを一貫して上回る。
• 小さめのモデルでは改善効果が顕著で、プロンプト最適化と標準化が軽量 LLM の推論能力の制約を緩和していることを示唆する。
• Top-K 候補を提供する Cross-Encoder ベースの関係標準化器は、埋め込みベースの類似度よりも優れた意味的整合をもたらす。
• 自己評価信号はより高い含意関係を保持し、正しい Triplet と誤りの Triplet をより正確に識別できるようにする。
• 反復的なプロンプト最適化はバッチごとに F1 の利得を蓄積し、特に Strict/Exact 指標で顕著である。