[論文レビュー] Unified Text Structuralization with Instruction-tuned Language Models

Xuanfan Ni, Piji Li+1 more|arXiv (Cornell University)|Mar 27, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLMs）を用いたテキスト構造化のための統合的で指示に最適化されたアプローチを提案する。前缀および後缀の指示によって、タスク固有の微調整なしに、エンティティ、関係、イベントなど多様な情報構造を抽出できる。実験の結果、多言語およびクロスドメインのデータセットにおいて最先端の性能を示し、ゼロショット一般化性能が高く、法務や金融などのリソースが乏しい分野においても低コストのデータセット作成が可能であることが示された。

ABSTRACT

Text structuralization is one of the important fields of natural language processing (NLP) consists of information extraction (IE) and structure formalization. However, current studies of text structuralization suffer from a shortage of manually annotated high-quality datasets from different domains and languages, which require specialized professional knowledge. In addition, most IE methods are designed for a specific type of structured data, e.g., entities, relations, and events, making them hard to generalize to others. In this work, we propose a simple and efficient approach to instruct large language model (LLM) to extract a variety of structures from texts. More concretely, we add a prefix and a suffix instruction to indicate the desired IE task and structure type, respectively, before feeding the text into a LLM. Experiments on two LLMs show that this approach can enable language models to perform comparable with other state-of-the-art methods on datasets of a variety of languages and knowledge, and can generalize to other IE sub-tasks via changing the content of instruction. Another benefit of our approach is that it can help researchers to build datasets in low-source and domain-specific scenarios, e.g., fields in finance and law, with low cost.

研究の動機と目的

• テキスト構造化のための高品質で多言語的かつ分野特化型のアノテーションデータセットの不足に対処すること。
• NER、RE、EEなどの情報抽出（IE）サブタスク間での一般化能力に欠けるタスク固有のモデルの限界を克服すること。
• 微調整なしに、指示に最適化されたLLMを用いてゼロショットおよびフェイシュット情報抽出を可能にすること。
• 金融や法務などのリソースが乏しい分野における分野特化型データセットの構築にかかるコストと作業負荷を低減すること。
• 指示ベースのプロンプトの強度と一般化能力を、さまざまなLLMおよび指示のバリエーションに対して評価すること。

提案手法

• 入力テキストの前に、希望するIEタスクを指定する前缀の指示（例：「名前付きエンティティを抽出」）を挿入する。
• 入力テキストの後に、出力構造タイプを指定する後缀の指示（例：「キー値ペア形式で出力」）を付加する。
• 組み合わせた入力（前缀 + テキスト + 後缀）を、指示に最適化されたLLMに供給し、エンドツーエンドのテキスト構造化を実行する。
• タスク固有の微調整なしに、ゼロショットまたはフェイシュットプロンプティングを用いて、多様なIEサブタスク間での一般化を可能にする。
• 複数のデータセットおよび言語で、キーバリューペアのF1スコアおよび構造度メトリクスを用いてモデルのパフォーマンスを評価する。
• 指示の位置および表現の違いに対するアブレーションスタディを実施し、モデルの感受性および理解度を評価する。

実験結果

リサーチクエスチョン

• RQ1 指示に最適化されたLLMは、タスク固有の微調整なしに、多様なIEタスクにおいてゼロショットのテキスト構造化を実行できるか？
• RQ2 前缀および後缀の指示の配置および表現が、モデルのパフォーマンスおよび一般化能力にどのように影響するか？
• RQ3 この統合的プロンプト手法は、金融や法務のようなリソースが乏しく、分野特化型の状況においてどの程度一般化可能か？
• RQ4 さまざまなモデルスケールで、デコーディング戦略（例：グリーディ対比、top-pサンプリング）が出力品質に与える影響は何か？
• RQ5 モデルスケールが、エラー率および指示理解度にどのように影響するか？

主な発見

• 特にGPT-3 175BおよびFLAN-T5-XXLといった指示に最適化されたLLMは、微調整なしにNER、RE、EEタスクで競争力のあるF1スコアを達成し、最先端の性能に匹敵または近づけた。
• この手法は言語および分野を問わず効果的に一般化され、医療や金融テキストのようなリソースが乏しい状況でも、低コストのデータセット作成が可能である。
• アブレーションスタディの結果、前缀および後缀の両方の指示が不可欠であることが判明。いずれかを削除するとパフォーマンスが著しく低下し、モデルを導く上で極めて重要な役割を果たしていることが示された。
• モデルは指示の表現の違い（例：「抽出」対「取得」、「情報」対「データ」）に対して頑健であることが示され、キーワードに依存するのではなく、意図を理解していることが示唆された。
• GPT-3 175Bのような大規模モデルは、エラーが少なく、指示理解度も優れており、小規模モデルとは異なり、重複や幻覚的な出力を観測しなかった。
• デコーディング戦略は、大規模モデル（例：FLAN-T5-XXL）に対してほとんど影響を及ぼさず、推論設定のあらゆる場面で高い安定性と信頼性を示した。