[論文レビュー] Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors

Kai Zhang, Bernal Jiménez Gutiérrez+1 more|arXiv (Cornell University)|May 18, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、指令微調整データセットにおけるQAタスクの高頻度を活用して、関係抽出（RE）を複数選択式の質疑応答タスクに再定式化するQA4REというフレームワークを提案する。REをQAに一致させることで、text-davinci-003 や FLAN-T5-XXL といった指令微調整済み大規模言語モデル（LLM）が、ゼロショットREで最先端の性能を達成できるようになる。F1スコアの絶対的向上は最大8.6%に達し、従来の小規模言語モデルベースのSoTA手法を上回る。

ABSTRACT

Recent work has shown that fine-tuning large language models (LLMs) on large-scale instruction-following datasets substantially improves their performance on a wide range of NLP tasks, especially in the zero-shot setting. However, even advanced instruction-tuned LLMs still fail to outperform small LMs on relation extraction (RE), a fundamental information extraction task. We hypothesize that instruction-tuning has been unable to elicit strong RE capabilities in LLMs due to RE's low incidence in instruction-tuning datasets, making up less than 1% of all tasks (Wang et al., 2022). To address this limitation, we propose QA4RE, a framework that aligns RE with question answering (QA), a predominant task in instruction-tuning datasets. Comprehensive zero-shot RE experiments over four datasets with two series of instruction-tuned LLMs (six LLMs in total) demonstrate that our QA4RE framework consistently improves LLM performance, strongly verifying our hypothesis and enabling LLMs to outperform strong zero-shot baselines by a large margin. Additionally, we provide thorough experiments and discussions to show the robustness, few-shot effectiveness, and strong transferability of our QA4RE framework. This work illustrates a promising way of adapting LLMs to challenging and underrepresented tasks by aligning these tasks with more common instruction-tuning tasks like QA.

研究の動機と目的

• 指令微調整済み大規模言語モデルが他のNLPタスクでは優れたゼロショット能力を示すにもかかわらず、関係抽出（RE）では性能を発揮できない理由を調査すること。
• 指令微調整データセットにおけるREタスクの低頻度（1%未満）が、LLMのRE性能に与える影響を特定し、その根本的原因を解明すること。
• REのような低頻度タスクを、QAのような高頻度の指令微調整タスクと一致させることで、より良い性能を引き出すフレームワークを開発すること。
• 異なるサイズの指令微調整LLMを対象に、提案手法の頑健性、少数-shot効果、および汎用性を評価すること。
• LLMがより一般的な指令フォーマットにタスクを再定式化することで、従来のSoTAゼロショットRE手法を上回ることを実証すること。

提案手法

• 関係抽出を複数選択式の質疑応答タスクに再定式化し、各入力文を質問に変換し、可能な関係を選択肢として提示する。
• 微調整を一切行わず、プロンプト工学に依存してLLMにQA行動を引き出す。
• エンティティペアと候補関係を構造的なQAフォーマットにマッピングするプロンプトを設計し、モデルが適切な選択肢を選択することで正しい関係タイプを特定できるようにする。
• 指令微調整データセットにおけるQAタスクの高い頻度（12–15%）を活用し、REのような低頻度タスクにおけるモデルの汎化性能と性能向上を図る。
• GPT-3.5およびFLAN-T5の2つのシリーズに属する6つの指令微調整LLMを用いて、4つの実世界REデータセットでフレームワークを評価する。
• プロンプト設計のバリエーションを検証するためのアブレーションスタディおよびプロンプト変異分析を実施し、異なるプロンプト設計における頑健性と汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 指令微調整済みLLMが他のNLPタスクでは優れたゼロショット能力を示すにもかかわらず、関係抽出（RE）では性能を発揮できないのはなぜか？
• RQ2 指令微調整データセットにおける関係抽出の低頻度が、LLMのこのタスクにおける性能にどの程度制限を及えるのか？
• RQ3 REを複数選択式QAのような高頻度タスクと一致させることで、LLMのゼロショットRE性能を顕著に向上させられるか？
• RQ4 QA4REフレームワークは、プロンプト設計の変化やモデルアーキテクチャの違いに対してどの程度頑健か？
• RQ5 QA4REフレームワークは、小規模および非常に大規模なモデルを含む、さまざまなサイズのLLMに汎用的に適用可能か？

主な発見

• QA4REにより、text-davinci-003は、従来のREプロンプト手法に比べてF1スコアで8.2%の絶対的向上を達成し、従来のSoTAゼロショットRE手法を上回った。
• FLAN-T5-XXLでは、F1スコアが8.6%の絶対的向上を示し、LLMが小規模言語モデルベースのSoTAをゼロショットで超える初の事例となった。
• フレームワークは、80M～175Bパラメータの6つの評価済み指令微調整LLMすべてで性能向上を実現し、強力な汎用性を示した。
• 最小のモデル、FLAN-T5-Small（80M）でもF1スコアが5.6%の絶対的向上を記録し、モデルスケールを問わず有効性が確認された。
• プロンプトの変化に対して頑健であり、少数-shot効果も顕著に現れたが、GPT-3.5の大きなモデルではやや向上幅が縮小した。
• 結果は、指令微調整データにおけるタスク頻度の低さが、REのような未代表的タスクにおけるLLM性能を制限するという仮説を裏付けた。