[論文レビュー] InstructIE: A Bilingual Instruction-based Information Extraction Dataset

Honghao Gui, Qiao, Shuofei+7 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、モデルが自然言語の指示に従ってテキストから関係性の三つ組みを抽出するという、新しいタスクである指示ベース情報抽出（IE）を紹介する。著者らは、弱教師ありの中国語ウィキペディアのインスタンス27万件と、1,000件のクラウドソーシングによるアノテーションを含むInstructIEデータセットを提案した。また、現在のモデルはある程度の性能を示すものの、特に未知の関係に対して、エンティティの境界検出や指示への従順性の面で顕著な課題が残っていることが示された。

ABSTRACT

Large language models can perform well on general natural language tasks, but their effectiveness is still suboptimal for information extraction (IE). Recent works indicate that the main reason lies in the lack of extensive data on IE instructions. Note that the existing datasets on IE instructions not only have limited coverage but also involve high construction costs. To address this issue, we introduce InstructIE, a bilingual instruction-based IE dataset, which covers 12 diverse domains. We propose KG2Instruction, a framework specifically for the automatic generation of such datasets. Additionally, we manually annotate the test set. Experimental results demonstrate that large language models trained with InstructIE can not only obtain better IE capabilities but also enhance zero-shot performance compared with baselines.

研究の動機と目的

• タスク特化型IEアーキテクチャが持つ柔軟性やクロスドメイン一般化能力の欠如という限界を解消すること。
• モデルが自然言語の指示に従って構造化された情報を抽出するという、新しいIEパラダイム「指示ベースIE」を提案すること。
• 訓練および評価のための、大規模かつ高品質なデータセット（InstructIE）を構築すること。
• InstructIEベンチマーク上でベースラインモデルを評価し、指示への従順性およびエンティティ抽出における主な失敗モードを同定すること。
• 訓練時に見られなかった新しいエンティティおよび関係タイプに対するゼロショット一般化の課題についての知見を提供すること。

提案手法

• このタスクは、抽出要件および出力形式を指定する自然言語の指示を入力とし、出力を生成するシーケンス・トゥ・シーケンスの生成問題として定式化される。
• 指示のフォーマットは $\mathcal{I} = \mathcal{S} \cup \mathcal{T}$ と定義され、ここで $\mathcal{S}$ はカスタマイズ可能なエンティティ／関係タイプのリストであり、$\mathcal{T}$ は出力形式（例：JSON または三つ組み形式）である。
• Wikidataを知識源として用い、中国語ウィキペディアの27万件の段落に対して弱教師あり学習を適用し、合成された指示・抽出ペアを生成した。
• 高品質なアノテーションは、1,000件のインスタンスについてクラウドソーシングで収集され、正確な指示・関係の整合性および正しい三つ組みフォーマットの保証がなされた。
• ChatGPT や CaMA といったLLMを含むベースラインモデルを、標準的なIEメトリクスを用いて1,000件のアノテート済みインスタンスで微調整および評価した。
• 予測失敗を6つのタイプに分類する詳細な誤差分析を実施した：誤りヘッド、誤り関係、誤りテール、冗長性、未定義関係、その他。

実験結果

リサーチクエスチョン

• RQ1 既存の大規模言語モデルは、ゼロショットまたはフェイントショット設定において、自然言語の指示に従って関係性の三つ組みを抽出する能力をどの程度果たしているか？
• RQ2 特にエンティティの境界検出や関係の虚構（ホールーシュレーション）に関して、指示ベースIEにおける主な失敗モードは何か？
• RQ3 ウィキペディアおよびWikidataからの弱教師ありデータを、指示ベースIEモデルの事前学習にどの程度活用できるか？
• RQ4 未知の関係やエンティティを扱う際、異なるエラー種別における指示従順モデルの性能はどのように比較されるか？
• RQ5 訓練時に見られなかった新しいエンティティおよび関係タイプに対する堅牢な一般化を達成するにあたり、主な課題は何か？

主な発見

• 現在の最先端モデルはInstructIEベンチマークである程度の性能を示しているが、特にエンティティの境界検出の面で改善の余地が顕著に残っている。
• 最も頻度の高いエラー種別は「誤りエンティティ」（誤ったヘッドまたはテールエンティティ）であり、特にテールエンティティの正確なスパン検出に限界があることを示している。
• 「その他」エラー種別—予測がほとんど関係のないものまたは不正な形式である—は高い発生率を示しており、モデルが生成制御および指示への従順性に苦労していることを示唆している。
• ChatGPTは「未定義関係」エラーにおいて相対的に低い性能を示しており、指定された候補セット外の関係を生成する傾向があることが判明した。
• CaMAは全体的に最も優れた性能を示し、特に「その他」と「冗長性」エラーの低減に優れており、より良い生成制御と指示従順性を示している。
• すべてのモデルが「誤り関係」と「未定義関係」のエラー率が低く抑えられていることから、指示の関係セットとの整合性は良好であるが、エンティティレベルのエラーでは著しく性能が低下している。