[論文レビュー] Prompting as Probing: Using Language Models for Knowledge Base Construction

Dimitrios Alivanistos, Selene Báez Santamaría+4 more|arXiv (Cornell University)|Aug 23, 2022

Topic Modeling被引用数 14

ひとこと要約

本稿では、GPT-3を用いて主題-関係の三項対に対して対象の予測を生成することで知識ベースを構築する、プロンプトをプローブとして利用するフレームワークProPを紹介する。洗練されたプロンプト、エンティティの別名拡張、真偽検証を組み合わせることで、ProPはISWC 2022のLM-KBCチャレンジにおいてベースラインより36.4ポイントの向上を達成し、大規模言語モデルを用いた高品質な知識ベース構築において、手動によるプロンプト設計とモデルスケールの重要性を示した。

ABSTRACT

Language Models (LMs) have proven to be useful in various downstream applications, such as summarisation, translation, question answering and text classification. LMs are becoming increasingly important tools in Artificial Intelligence, because of the vast quantity of information they can store. In this work, we present ProP (Prompting as Probing), which utilizes GPT-3, a large Language Model originally proposed by OpenAI in 2020, to perform the task of Knowledge Base Construction (KBC). ProP implements a multi-step approach that combines a variety of prompting techniques to achieve this. Our results show that manual prompt curation is essential, that the LM must be encouraged to give answer sets of variable lengths, in particular including empty answer sets, that true/false questions are a useful device to increase precision on suggestions generated by the LM, that the size of the LM is a crucial factor, and that a dictionary of entity aliases improves the LM score. Our evaluation study indicates that these proposed techniques can substantially enhance the quality of the final predictions: ProP won track 2 of the LM-KBC competition, outperforming the baseline by 36.4 percentage points. Our implementation is available on https://github.com/HEmile/iswc-challenge.

研究の動機と目的

• 大規模言語モデルを用いた知識ベース構築を改善するため、プロンプトを事実知識のプロービング手法として扱う。
• ゼロショット設定下で、空集合も含む可変長の答え集合を予測する課題に対処する。
• プロンプト設計、モデルサイズ、エンティティ別名辞書のような補助的コンponentが予測品質に与える影響を評価する。
• 文字列マッチングベースラインを超えて、曖昧またはレアなエンティティに対して精度と再現率を向上させる。
• 構造的な後処理と検証技術を組み合わせた場合に、言語モデルが知識グラフを効果的に補完できることを示す。

提案手法

• 主題-関係ペアが自然言語のプロンプトに変換され、GPT-3に潜在的な対象の答えをプローブする多段階パイプラインを採用する。
• 多様で関係固有のプロンプトを生成するために、手動によるプロンプトの洗練を実施し、空集合も含む構造的かつ可変長の応答を引き出す。
• エンティティの既知の同義語や代替名を取得するエイリアスフェッチャー部品を導入し、マッチングの正確性と再現率を向上させる。
• 候補となる対象について二値の質問を提示することで、低信頼度の予測をフィルタリングする真偽検証を適用する。
• 一般化性と多様な関係にわたる耐性を向上させるために、少数の例と構造的データ拡張を用いる。
• 後処理には正規化、重複除去、および曖昧さの変動に対応するためのファジーサイティングを用いた正解とのアライメントを含む。

実験結果

リサーチクエスチョン

• RQ1 手動によるプロンプトの洗練は、大規模言語モデルを用いた知識ベース構築における対象予測の品質にどのように影響するか？
• RQ2 空集合も含む可変長出力を促すことは、オープンエンドなKBCタスクのパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 真偽検証の質問は、LMが生成する予測の正確性をどの程度向上させるか？
• RQ4 言語モデルのサイズは、KBCにおける最終的な予測品質にどの程度影響を与えるか？
• RQ5 エンティティの別名拡張は、大規模言語モデルを用いた知識ベース構築における再現率と耐性に顕著な向上効果をもたらすか？

主な発見

• ProPは、LM-KBCチャレンジのテストセットにおいて、マクロ-F1スコアでベースラインを36.4ポイント上回り、トラック2で最高スコアを記録した。
• 自動生成されたプロンプトでは顕著にパフォーマンスが低下したため、手動によるプロンプト洗練が不可欠であった。
• GPT-3に空集合も含む可変長出力を促すことで、タスクが求めるオープンエンドな予測要件との整合性が向上した。
• 真偽検証により、曖昧な関係において特に誤ったまたは幻覚的な予測がフィルタリングされ、正確性が向上した。
• 言語モデルのサイズがパフォーマンスに最も顕著な影響を与え、GPT-3のような大規模モデルでは著しく優れた結果が得られた。
• エンティティの別名辞書はマッチングの正確性を向上させ、一部のケースでは正解とされるべき予測が、正解データの別名不一致により誤って不正解とされた。