[論文レビュー] GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction
GoLLIEは、注釈ガイドラインに従うことを学ぶ微調整済みLLMであり、見られないスキーマやドメインに対するゼロショット情報抽出の改善を可能にします。
Large Language Models (LLMs) combined with instruction tuning have made significant progress when generalizing to unseen tasks. However, they have been less successful in Information Extraction (IE), lagging behind task-specific models. Typically, IE tasks are characterized by complex annotation guidelines that describe the task and give examples to humans. Previous attempts to leverage such information have failed, even with the largest models, as they are not able to follow the guidelines out of the box. In this paper, we propose GoLLIE (Guideline-following Large Language Model for IE), a model able to improve zero-shot results on unseen IE tasks by virtue of being fine-tuned to comply with annotation guidelines. Comprehensive evaluation empirically demonstrates that GoLLIE is able to generalize to and follow unseen guidelines, outperforming previous attempts at zero-shot information extraction. The ablation study shows that detailed guidelines are key for good results.
研究の動機と目的
- 多様で複雑な注釈ガイドラインのもとで、ゼロショットIEの課題を動機づける。
- 推論時に注釈ガイドラインを明示的に注意を払い、従うモデルを提案する。
- 従来の指示チューニング型IEアプローチよりもゼロショット一般化の利得を示す。
- ガイドラインベースのトレーニング正則化が一般化に与える影響を評価する。
提案手法
- IEタスクの入力と出力を、スキーマ、入力テキスト、出力注釈を含むPythonコードベースのフォーマットで表現する。
- 注釈ガイドラインをドキュメンテーション文字列(docstrings)とコードコメントとして入力に組み込み、モデルの予測を導く。
- データセットへの過学習を防ぎ、ガイドライン遵守を促進するために、トレーニング正則化(クラス順序シャッフル、クラスドロップアウト、ガイドラインの言い換え、代表候補サンプリング、クラス名のマスキング)を適用する。
- 小規模なIEタスクセットでCode-LLaMA(7B、LoRA付き)をQLoRAを用いて微調整し、13Bおよび34Bバリアントでも実験を行う。
- ゼロショット設定で、SoTAゼロショットIEのベースライン(Instruct-UIE、Entailment-based IE、PromptNER)とGoLLIEを比較する。

実験結果
リサーチクエスチョン
- RQ1言語モデルは、未見のスキーマに対してゼロショットIEを改善するために、詳細な注釈ガイドラインを一貫して従うように訓練できるか。
- RQ2ガイドライン認識型のファインチューニングが、NER、EE、EAEにおけるゼロショット性能をベースラインと比べてどう影響するか。
- RQ3各正則化手法がガイドライン遵守と一般化を可能にする上での寄与は何か。
- RQ4モデルサイズが、見られたラベルと未見のラベルを跨るゼロショット性能とガイドライン遵守にどう影響するか。
主な発見
- GoLLIEは、ベースラインと従来のゼロショット手法に対してゼロショットIEを大幅に改善し、データセット全体で平均約13 F1ポイントの向上を示した。
- GoLLIEはInstruct-UIEおよびEntailment-based IEをゼロショット評価で上回った。
- ガイドラインの存在は未見のスキーマへの一般化を高め、より大きなモデルは見たことのあるラベルと未見のラベル間のギャップを縮小する。
- アブレーション解析では、定義と代表的候補が有意に寄与する一方で、いくつかの正則化(例:言い換え、マスキング)は効果が小さいかデータセット依存であることを示した。
- 教師あり評価では、ガイドラインベースのノイズで訓練したにもかかわらず、GoLLIEがベースラインに近い競争力のある性能を発揮している。

この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。