[논문 리뷰] Large Language Models Meet NLP: A Survey

Libo Qin, Qiguang Chen외 7명|arXiv (Cornell University)|2024. 05. 21.

Topic Modeling인용 수 20

한 줄 요약

이 논문은 대규모 언어 모델(LLMs)이 NLP에 어떻게 적용되는지 조사하고, 분류 체계(매개변수 고정 vs 매개변수 미세조정)를 제안하며, 향후 프런티어와 도전에 대해 논의한다.

ABSTRACT

While large language models (LLMs) like ChatGPT have shown impressive capabilities in Natural Language Processing (NLP) tasks, a systematic investigation of their potential in this field remains largely unexplored. This study aims to address this gap by exploring the following questions: (1) How are LLMs currently applied to NLP tasks in the literature? (2) Have traditional NLP tasks already been solved with LLMs? (3) What is the future of the LLMs for NLP? To answer these questions, we take the first step to provide a comprehensive overview of LLMs in NLP. Specifically, we first introduce a unified taxonomy including (1) parameter-frozen paradigm and (2) parameter-tuning paradigm to offer a unified perspective for understanding the current progress of LLMs in NLP. Furthermore, we summarize the new frontiers and the corresponding challenges, aiming to inspire further groundbreaking advancements. We hope this work offers valuable insights into the potential and limitations of LLMs, while also serving as a practical guide for building effective LLMs in NLP.

연구 동기 및 목표

• LLMs가 현재 NLP 태스크에 어떻게 적용되고 있는지에 대한 포괄적 개요를 제공한다.
• 매개변수 고정과 매개변수 미세조정 접근법을 구별하는 통일된 분류 체계를 제안한다.
• LLM 기반 NLP의 미래 연구를 고무하기 위한 최전선 영역과 도전과제를 식별한다.
• NLP에서 효과적인 LLM을 구축하기 위한 실용적 지침과 선별된 자원을 제공한다.

제안 방법

• 통합 분류 체계 소개: 매개변수 고정(zero-shot, few-shot)과 매개변수 미세조정(full fine-tuning, parameter-efficient tuning).
• 두 가지 패러다임 하에서 이해와 생성의 관점으로 NLP 작업을 조사한다(감정 분석, 정보 추출, 대화, 표 이해, 요약, 코드 생성, 기계 번역, 수학적 추론).
• 지시 학습(instruction tuning), LoRA, 어댑터(adapter), 프롬프트 전략을 포함한 대표적 방법과 프롬프트를 요약한다.
• 다국어 및 다중모달 LLMs를 활용한 NLP의 미래 방향성을 강조하고 관련 도전과제를 논의한다.
• NLP용 LLM를 위한 실용적 자원과 선별된 논문 모음을 GitHub 저장소를 통해 제공한다.

실험 결과

연구 질문

• RQ1 문헌에서 LLM이 현재 NLP 태스크에 어떻게 적용되고 있는가?
• RQ2 전통적인 NLP 태스크가 이미 LLM으로 해결되었는가?
• RQ3 NLP를 위한 LLM의 미래는 무엇인가?

주요 결과

• LLMs는 많은 NLP 태스크에 대해 통일된 생성적 패러다임을 가능하게 하며, 일부 환경에서는 전통적인 파인튜닝 모델에 도달하거나 이를 능가하는 경우가 많다.
• 매개변수 고정과 매개변수 미세조정 패러다임을 구분하는 새로운 분류 체계가 NLP에서의 LLM 이해를 통합한다.
• 다국어 및 다중모달 NLP에서 LLM과 함께하는 새로운 프런티어와 도전과제가 있으며, 이는 향후 연구를 이끈다.
• 제로샷, 파샷, 그리고 지시 학습(instruction-tuning) 접근법은 감정 분석, 정보 추출, 대화, 표 이해 전반에서 강한 잠재력을 보여준다.
• 매개변수 효율적 튜닝(예: LoRA, 어댑터)이 NLP 태스크에서 LLM을 확장하는 실용적 접근법으로 반복적으로 강조된다.
• 본 논문은 현장 연구자들을 지원하기 위한 오픈 소스 자원과 논문들의 선별된 모음을 제공한다.