[논문 리뷰] Large Language Models for Generative Information Extraction: A Survey

Derong Xu, Wei Chen외 8명|arXiv (Cornell University)|2023. 12. 29.

Topic Modeling인용 수 23

한 줄 요약

대규모 언어 모델이 생성적 정보 추출(NER, RE, EE)에 어떻게 사용되는지에 대한 포괄적 고찰로, 작업, 학습 파라다임, 보편적 프레임워크, 도메인별 연구 및 향후 방향을 다룬다.

ABSTRACT

Information extraction (IE) aims to extract structural knowledge from plain natural language texts. Recently, generative Large Language Models (LLMs) have demonstrated remarkable capabilities in text understanding and generation. As a result, numerous works have been proposed to integrate LLMs for IE tasks based on a generative paradigm. To conduct a comprehensive systematic review and exploration of LLM efforts for IE tasks, in this study, we survey the most recent advancements in this field. We first present an extensive overview by categorizing these works in terms of various IE subtasks and techniques, and then we empirically analyze the most advanced methods and discover the emerging trend of IE tasks with LLMs. Based on a thorough review conducted, we identify several insights in technique and promising research directions that deserve further exploration in future studies. We maintain a public repository and consistently update related works and resources on GitHub (\href{https://github.com/quqxui/Awesome-LLM4IE-Papers}{LLM4IE repository})

연구 동기 및 목표

• LLMs가 생성적 정보 추출 작업(NER, RE, EE)에 어떻게 적용되는지와 그 학습 파라다임을 특성화한다.
• 다양한 IE 하위 작업을 통합하는 보편적 프레임워크를 분석하고 NL-LLM과 Code-LLM 접근법을 비교한다.
• 도메인별 연구 및 평가 연구를 요약하여 현재 경향과 격차를 파악한다.
• 향후 연구를 위한 가능 방향과 LLM 기반 IE의 도전과제를 식별한다.

제안 방법

• IE 하위 작업 및 학습 파라다임으로 기존 연구를 분류한다.
• 대표적 방법을 데이터셋과 작업 across empirical적으로 분석하고, 보편 IE에서 NL-LLMs vs. Code-LLMs를 비교한다.
• 감독형 미세조정(SFT), 소수샷, 제로샷, 데이터 증강 접근법을 예시 방법과 함께 검토한다.
• 결과와 경향을 종합하여 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 어떻게 LLM을 단일화된 생성 프레임워크에서 다중 IE 하위작업(NER, RE, EE)을 수행하도록 사용할 수 있는가?
• RQ2 보편 IE를 위한 NL-LLMs와 Code-LLMs의 상대적 강점과 한계는 무엇인가?
• RQ3 다른 학습 파라다임(SFT, 소수샷, 제로샷, 데이터 증강)이 작업별 IE 성능에 어떤 영향을 미치는가?
• RQ4 도메인별 IE 작업에 적용할 때 주요 도전과제와 유망한 방향은 무엇인가?

주요 결과

• 생성형 LLM은 특정 작업과 보편적 IE 접근법 모두를 가능하게 하며, 여러 하위 작업에서 비판단적(discriminative) 모델보다 종종 더 나은 성능을 보인다.
• NL-LLMs와 Code-LLMs는 보완적인 이점을 제공하며, 코드 기반 프롬프트는 구조화된 출력을, 자연어 프롬프트는 광범위한 작업에 대한 간결한 프롬트를 제공한다.
• 감독 학습 미세조정(SFT)과 데이터 증강은 NER, RE, EE 전반에서 강력한 성능을 보이는 반면, 제로샷 및 소수샷 방법은 성능 차이가 더 크게 나타난다.
• 통합 IE 프레임워크는 seq2seq 구성으로 다중 IE 작업을 모델링하여 작업 간 의존성과 교차 작업 일반화를 가능하게 한다.
• 제로샷 교차 도메인 및 교차 타입 일반화는 활발한 연구 영역이며, QA 정렬 조회 및 추론 전략이 RE 작업에서 성능을 향상시킨다.