[論文レビュー] How to Unleash the Power of Large Language Models for Few-shot Relation Extraction?

Xin Xu, Yuqi Zhu+2 more|arXiv (Cornell University)|May 2, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿は、大規模言語モデル（LLMs）を用いた少サンプル関係抽出を調査し、GPT-3.5を用いたタスク関連の指示とスキーマ制約付きデータ生成の2つの戦略を提案する。文脈内学習がプロンプト学習と同等の性能を達成することを示し、データ生成により顕著な性能向上が得られ、4つのベンチマークデータセットで新たなSOTA F1スコアを樹立した。SciERCでは最大67.8%の向上を達成した。

ABSTRACT

Scaling language models have revolutionized widespread NLP tasks, yet little comprehensively explored few-shot relation extraction with large language models. In this paper, we investigate principal methodologies, in-context learning and data generation, for few-shot relation extraction via GPT-3.5 through exhaustive experiments. To enhance few-shot performance, we further propose task-related instructions and schema-constrained data generation. We observe that in-context learning can achieve performance on par with previous prompt learning approaches, and data generation with the large language model can boost previous solutions to obtain new state-of-the-art few-shot results on four widely-studied relation extraction datasets. We hope our work can inspire future research for the capabilities of large language models in few-shot relation extraction. Code is available in https://github.com/zjunlp/DeepKE/tree/main/example/llm.

研究の動機と目的

• GPT-3.5のような大規模言語モデル（LLMs）が、他のNLP分野で成功を収めた一方で、まだ十分に調査が進んでいない少サンプル関係抽出タスクへの応用可能性を調査すること。
• 複雑なスキーマ、ノイズの多いデータ、大きなラベル空間といった要因により、少サンプル関係抽出で性能が低いという課題に対処すること。
• LLMsを用いた2つの効果的な戦略、すなわちタスク関連の指示とスキーマ制約付きデータ生成を提案し、少サンプル関係抽出の性能を向上させること。
• 文脈内学習とデータ生成の有効性を、広く用いられている関係抽出ベンチマークで実証的に検証すること。
• 低リソースでスキーマが豊富なNLPタスクにおけるLLMsの活用に関する今後の研究のためのイン sight と基盤を提供すること。

提案手法

• GPT-3.5を用いて文脈内学習を実施し、少数のサンプル例（few-shot demonstrations）を提示することで、エンティティ間の関係を予測するようにモデルを誘導する。
• エンティティと関係の役割を明確にするために、タスク関連の指示を導入し、モデルのタスクへの適合性を向上させる。
• LLM自体を用いて、スキーマに準拠した高品質な学習例を生成するスキーマ制約付きデータ生成の仕組みを設計する。
• 生成されたデータを用いて、KnowPrompt や TYP Marker といった既存のプロンプト学習手法を微調整し、少サンプル性能を向上させる。
• K=8およびK=16の少サンプル設定下で、TACRED、TACREV、RE-TACRED、SciERC の4つのベンチマークデータセットにおいて、包括的な実験を実施する。
• 性能を微小F1スコアを用いて評価し、ベースライン手法、文脈内学習、データ生成戦略を比較する。

実験結果

リサーチクエスチョン

• RQ1 LLMsを用いた文脈内学習は、従来のプロンプト学習と比較して、少サンプル関係抽出で競争力のある性能を達成できるか？
• RQ2 タスク関連の指示を追加することで、LLMsの少サンプル関係抽出における性能はどの程度向上するか？
• RQ3 文脈内学習を上回るレベルで、LLMsからのスキーマ制約付きデータ生成が、少サンプル関係抽出をどの程度向上できるか？
• RQ4 LLMsの少サンプル関係抽出における限界は何か。特に、長距離エンティティ関係や曖昧な関係ラベルに対して性能にどのような影響を与えるか？
• RQ5 低リソースな関係抽出設定において、LLMsが生成したデータは、人手でアノテートされたゴールドデータを上回るか、あるいは補完的役割を果たすか？

主な発見

• GPT-3.5を用いた文脈内学習は、従来のプロンプト学習手法と同等の微小F1スコアを達成し、TACRED（K=8）では31.9%、RE-TACRED（K=8）では49.9%のF1スコアを記録した。
• タスク関連の指示を組み込むことで、わずかに性能が向上し、TACRED（K=8）では31.0%、RE-TACRED（K=8）では51.8%のF1スコアを達成した。
• スキーマ制約付きデータ生成により、顕著な性能向上が得られ、RE-TACRED（K=8）では64.3%、SciERC（K=16）では67.8%のF1スコアを達成し、新たなSOTA結果を樹立した。
• 人手による評価により、生成データの78%が正しくラベル付けされており、高品質であることが確認された。TACREDでは85%、TACREVでは82.5%の正確性を示した。
• TACREDおよびTACREVでは、生成データがゴールドデータを上回る性能を示した。これは、元のデータセットにノイズの多いアノテーションが存在するためだと考えられる。
• LLMsは長距離エンティティ関係や曖昧な関係ラベル、意味的に類似したエンティティ表記に対して、推論力や注視力に限界を示しており、その影響が性能に現れている。