Skip to main content
QUICK REVIEW

[논문 리뷰] GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction

Oscar Sainz, Iker García-Ferrero|arXiv (Cornell University)|2023. 10. 05.
Topic ModelingComputer Science인용 수 17
한 줄 요약

GoLLIE는 주석 가이드라인을 따르는 것을 학습하는 미세조정된 LLM로, 보이지 않는 스키마와 도메인에 걸친 제로샷 정보추출을 향상시킬 수 있습니다.

ABSTRACT

Large Language Models (LLMs) combined with instruction tuning have made significant progress when generalizing to unseen tasks. However, they have been less successful in Information Extraction (IE), lagging behind task-specific models. Typically, IE tasks are characterized by complex annotation guidelines that describe the task and give examples to humans. Previous attempts to leverage such information have failed, even with the largest models, as they are not able to follow the guidelines out of the box. In this paper, we propose GoLLIE (Guideline-following Large Language Model for IE), a model able to improve zero-shot results on unseen IE tasks by virtue of being fine-tuned to comply with annotation guidelines. Comprehensive evaluation empirically demonstrates that GoLLIE is able to generalize to and follow unseen guidelines, outperforming previous attempts at zero-shot information extraction. The ablation study shows that detailed guidelines are key for good results.

연구 동기 및 목표

  • 다양하고 복잡한 주석 가이드라인 하에서 제로샷 IE의 도전을 고무한다.
  • 추론 중에 주석 가이드라인에 명시적으로 주의를 기울이고 이를 따르는 모델을 제안한다.
  • 이전 지시 기반 IE 접근법들에 비해 제로샷 일반화 이점을 입증한다.
  • 가이드라인 기반 학습 규제의 일반화에 미치는 영향을 평가한다.

제안 방법

  • 스키마, 입력 텍스트, 출력 주석으로 구성된 Python 코드 기반 형식을 사용하여 IE 작업의 입력과 출력을 표현한다.
  • 가이드라인을 입력에 문서 문자열(docstrings)과 코드 주석으로 삽입하여 모델의 예측을 유도한다.
  • 데이터세트 과적합을 방지하고 가이드라인 준수를 촉진하기 위해 학습 규제(클래스 순서 셔플, 클래스 드롭아웃, 가이드라인 의역, 대표 후보 샘플링, 클래스 이름 마스킹)를 적용한다.
  • Code-LLaMA(7B, LoRA 포함)를 QLoRA를 사용하여 소수의 IE 작업에 대해 미세조정하고, 13B 및 34B 버전에 대해서도 실험한다.
  • 제로샷 설정에서 SoTA 제로샷 IE 기준선(Instruct-UIE, Entailment-based IE, PromptNER)과 GoLLIE를 비교한다.
Figure 1: Out of domain zero-shot NER results. GPT results are not available for all domains.
Figure 1: Out of domain zero-shot NER results. GPT results are not available for all domains.

실험 결과

연구 질문

  • RQ1언어 모델이 자세한 주석 가이드라인을 일관되게 따라 학습되어 보이지 않는 스키마에서 제로샷 IE를 개선할 수 있는가?
  • RQ2가이드라인 인식 미세조정이 NER, EE, EAE의 제로샷 성능에 비교대상과 비교해 어떻게 영향을 미치는가?
  • RQ3가이드라인 준수와 일반화를 가능하게 하는 각 규제 기법의 기여도는 무엇인가?
  • RQ4모델 크기가 보인 라벨과 보이지 않는 라벨 간 제로샷 성능 및 가이드라인 준수에 어떤 영향을 미치는가?

주요 결과

  • GoLLIE는 기초선 및 이전 제로샷 방법들에 비해 제로샷 IE를 크게 향상시키며, 데이터세트 전반에서 평균 약 13 F1 포인트의 이점을 보인다.
  • GoLLIE가 Instruct-UIE 및 Entailment-based IE를 제로샷 평가에서 능가하는 경우가 대부분의 데이터셋에서 관찰된다.
  • 가이드라인의 존재가 보이지 않는 스키마에 대한 일반화를 더 잘 가능하게 하며, 더 큰 모델일수록 seen와 unseen 라벨 간의 격차가 감소한다.
  • 삭제 실험은 정의(definitions)와 대표 후보가 의미 있게 기여함을 보여주며, 일부 규제(예: paraphrasing, masking)는 효과가 작거나 데이터세트 의존적임을 시사한다.
  • 감독 학습 평가에서 GoLLIE가 가이드라인 기반 노이즈로 학습했음에도 기초선에 근접한 경쟁력 있는 성능을 보여준다.
Figure 2: Example of the input and output of the model.
Figure 2: Example of the input and output of the model.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.