[논문 리뷰] How to Unleash the Power of Large Language Models for Few-shot Relation Extraction?

Xin Xu, Yuqi Zhu외 2명|arXiv (Cornell University)|2023. 05. 02.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용한 소수 샘플 관계 추출을 조사하며, GPT-3.5를 활용한 작업 관련 지시 및 스키마 제약 데이터 생성이라는 두 가지 전략을 제안한다. 인-컨텍스트 학습이 프롬프트 학습과 유사한 성능을 달성하는 것으로 밝혀졌고, 데이터 생성 전략은 성능을 크게 향상시켜 네 가지 벤치마크 데이터셋에서 새로운 SOTA F1 스코어를 기록했으며, SciERC에서 최대 67.8% 향상된 결과를 보였다.

ABSTRACT

Scaling language models have revolutionized widespread NLP tasks, yet little comprehensively explored few-shot relation extraction with large language models. In this paper, we investigate principal methodologies, in-context learning and data generation, for few-shot relation extraction via GPT-3.5 through exhaustive experiments. To enhance few-shot performance, we further propose task-related instructions and schema-constrained data generation. We observe that in-context learning can achieve performance on par with previous prompt learning approaches, and data generation with the large language model can boost previous solutions to obtain new state-of-the-art few-shot results on four widely-studied relation extraction datasets. We hope our work can inspire future research for the capabilities of large language models in few-shot relation extraction. Code is available in https://github.com/zjunlp/DeepKE/tree/main/example/llm.

연구 동기 및 목표

• GPT-3.5와 같은 대규모 언어 모델(LLMs)이 다른 NLP 분야에서 성공을 거둔 바에도 불구하고 아직 다루어지지 않은 소수 샘플 관계 추출 작업에 LLM의 잠재력을 조사하는 것.
• 복잡한 스키마, 노이즈가 많은 데이터, 큰 레이블 공간으로 인해 저조한 성능을 보이는 소수 샘플 관계 추출 문제를 해결하기 위한 것.
• LLM을 활용한 두 가지 효과적인 전략인 작업 관련 지시 및 스키마 제약 데이터 생성을 제안하여 소수 샘플 관계 추출을 향상시키는 것.
• 일반적으로 사용되는 관계 추출 벤치마크에서 인-컨텍스트 학습과 데이터 생성 전략의 효과를 실증적으로 검증하는 것.
• 저자원, 스키마 기반 NLP 작업에 LLM을 활용하는 데 있어 향후 연구의 통찰과 기초를 제공하는 것.

제안 방법

• 엔티티 간 관계 예측을 유도하기 위해 GPT-3.5를 사용해 소수 샘플 예시를 제공함으로써 인-컨텍스트 학습을 적용한다.
• 엔티티와 관계의 역할을 명확히 하기 위해 작업 관련 지시를 도입하여 모델의 관계 추출 작업에 대한 일치도를 향상시킨다.
• LLM 자체를 활용해 스키마에 부합하는 고품질의 훈련 예시를 생성하기 위해 스키마 제약 데이터 생성 기법을 설계한다.
• 생성된 데이터를 활용해 기존의 프롬프트 학습 방법(예: KnowPrompt, TYP Marker)을 미세조정하여 소수 샘플 성능을 향상시킨다.
• K=8 및 K=16 설정에서 네 가지 벤치마크 데이터셋(TACRED, TACREV, RE-TACRED, SciERC)에서 광범위한 실험을 수행한다.
• 마이크로-F1을 사용해 성능을 평가하며, 기준 모델, 인-컨텍스트 학습, 데이터 생성 전략 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 LLM을 활용한 인-컨텍스트 학습이 기존의 프롬프트 학습 방법과 비교해 소수 샘플 관계 추출에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 작업 관련 지시를 추가함으로써 LLM의 소수 샘플 관계 추출 성능이 얼마나 향상되는가?
• RQ3 LLM에서 생성된 스키마 제약 데이터 생성 전략이 인-컨텍스트 학습을 넘어서 소수 샘플 관계 추출 성능을 얼마나 향상시킬 수 있는가?
• RQ4 LLM의 소수 샘플 관계 추출에서의 한계는 무엇이며, 장거리 관계나 모호한 관계 레이블에 대한 성능에 어떤 영향을 미치는가?
• RQ5 저자원 관계 추출 환경에서 LLM이 생성한 데이터가 인간 레이블링된 골드 데이터보다 우월하거나 보완적인가?

주요 결과

• GPT-3.5를 활용한 인-컨텍스트 학습은 이전의 프롬프트 학습 방법과 유사한 마이크로-F1 스코어를 기록했으며, TACRED(K=8)에서 31.9%, RE-TACRED(K=8)에서 49.9%의 F1 스코어를 기록했다.
• 작업 관련 지시를 통합함으로써 성능이 약간 향상되었으며, TACRED(K=8)에서 31.0%, RE-TACRED(K=8)에서 51.8%의 F1 스코어를 달성했다.
• 스키마 제약 데이터 생성 전략은 성능을 크게 향상시켰으며, RE-TACRED(K=8)에서 64.3%, SciERC(K=16)에서 67.8%의 F1 스코어를 기록하여 새로운 SOTA 결과를 수립했다.
• 인간 평가 결과, 생성된 데이터의 78%가 정확하게 레이블링되었고 고품질임을 확인했으며, TACRED(85%), TACREV(82.5%)에서 더 높은 정확도를 보였다.
• TACRED와 TACREV에서 생성된 데이터가 골드 데이터를 능가했으며, 원본 데이터셋에 노이즈가 많은 레이블링이 존재하기 때문으로 보인다.
• LLM은 장거리 엔티티 관계, 모호한 관계 레이블, 의미적으로 유사한 엔티티 표현에 대해 어려움을 겪어 추론 및 주의력 기능에 한계를 드러냈다.