[論文レビュー] PiVe: Prompting with Iterative Verification Improving Graph-based Generative Capability of LLMs

Jiuzhou Han, Nigel Collier+2 more|arXiv (Cornell University)|May 21, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、軽量な検証モデルを用いた反復的検証により、大規模言語モデル（LLMs）のグラフ生成能力を向上させるPiVeというフレームワークを提案する。自己教師学習による訓練のため、摂動を加えたグラフ・テキストペアを生成することで、検証モデルがループ内で是正フィードバックを提供し、3つのデータセットで平均26%の向上を達成した。これにより、GenWiki-HIQのような高品質なテキスト・グラフデータセットのデータ拡張が可能になった。

ABSTRACT

Large language models (LLMs) have shown great abilities of solving various natural language tasks in different domains. Due to the training objective of LLMs and their pre-training data, LLMs are not very well equipped for tasks involving structured data generation. We propose a framework, Prompting with Iterative Verification (PiVe), to improve graph-based generative capability of LLMs. We show how a small language model could be trained to act as a verifier module for the output of an LLM~(i.e., ChatGPT, GPT-4), and to iteratively improve its performance via fine-grained corrective instructions. We also show how the verifier module could apply iterative corrections offline for a more cost-effective solution to the text-to-graph generation task. Experiments on three graph-based datasets show consistent improvement gained via PiVe. Additionally, we create GenWiki-HIQ and highlight that the verifier module can be used as a data augmentation tool to help improve the quality of automatically generated parallel text-graph datasets.

研究の動機と目的

• LLMsが非構造化テキストタスクでは成功を収めている一方で、テキストから構造的な意味的グラフを生成する際の性能が低いという問題に取り組む。
• 外部の検証モジュールを用いて反復的な是正フィードバックを提供するコスト効率の良い方法を、LLMベースのテキストからグラフへの生成を向上させるために開発する。
• 検証モデルをデータ拡張ツールとして活用し、高品質で大規模なテキスト・グラフデータセット（GenWiki-HIQ）を構築する。
• スケーラブルで効率的なグラフ生成を実現するため、オンラインでの反復的プロンプト処理とオフラインでの是正モードの両方を検討する。
• ファインチューニングおよびインstructチューニングを用いてドメイン特化型および統合型の検証モデルを訓練し、広範な適用性を実現する。

提案手法

• 初期のグラフ・テキストペアに対してエンティティ、関係、または三元組に摂動を加えることで、大規模な検証データセットを構築し、(テキスト, 摂動を加えたグラフ, 是正指示) の三元組を生成する。
• 摂動ベースのデータセット上で自己教師学習を用いて検証モデルを訓練し、LLMが生成したグラフの誤りを検出し是正する。
• 2つのモードを実装する：(1) 反復的プロンプト処理では、検証モデルがリアルタイムでLLMのプロンプトを改善するフィードバックを提供する。また、(2) 反復的オフライン是正では、LLMを再クエリしないで順次是正を適用する。
• インstructチューニングを用いて、さまざまなデータセットやタスクに一般化可能な統合型検証モデルを訓練する。
• 訓練済みの検証モデルをデータフィルタリングおよび是正ツールとして活用し、自動的に構築されたテキスト・グラフデータセットの品質を向上させる。
• 検証モデルを活用して、意味的整合性の高い11万件のテキスト・グラフペアを含む高品質なデータセットGenWiki-HIQを生成した。

Figure 1: Framework of PiVe.

実験結果

リサーチクエスチョン

• RQ1 外部の検証モデルは、少々のプロンプト設定下で、LLMsが生成する意味的グラフの品質を顕著に向上させることができるか？
• RQ2 是正フィードバックを伴う反復的検証は、LLMが生成するグラフにおける構造的誤りをどれほど効果的に低減できるか？
• RQ3 インstructチューニングを用いた単一の統合型検証モデルは、さまざまなテキストからグラフへのデータセットに一般化できるか？
• RQ4 検証モジュールは、自動的に構築されたテキスト・グラフデータセットの品質向上を目的としたデータ拡張ツールとしてどれほど有効に機能するか？
• RQ5 オンラインでの反復的プロンプト処理と比較して、オフライン是正モードは推論コストを削減しながらも高い性能を維持できるか？

主な発見

• PiVeフレームワークは、3つのベンチマークデータセットで平均26%の向上を示し、LLMが生成する意味的グラフの品質向上が一貫して達成された。
• 検証モデルは、LLMベースのテキストからグラフへの生成で一般的な欠落三元組を効果的に検出し是正した。
• インstructチューニングで訓練された統合型検証モデルは、さまざまなデータセットに良好に一般化され、強力なゼロショット転送性を示した。
• オフライン是正モードは、オンラインでの反復的プロンプト処理と同等の性能を達成しながら、LLMの推論コストを削減した。
• 検証モジュールは、自動的に構築されたテキスト・グラフデータセットの品質向上に成功し、意味的整合性の高い11万件の並列テキスト・グラフペアを含む高品質なデータセットGenWiki-HIQの構築に貢献した。
• 摂動ベースのデータ生成戦略により、最小限の人的アノテーションでスケーラブルな自己教師学習による検証モデルの訓練が可能になった。

Figure 2: Results of various number of shots (k=6, 8, 10) on KELM-sub with Iterative Offline Correction. The colors represent Base , and corrective iterations 1 , 2 , 3 .