[논문 리뷰] A Bibliometric Review of Large Language Models Research from 2017 to 2023

Lizhou Fan, Lingyao Li외 4명|arXiv (Cornell University)|2023. 04. 03.

Topic Modeling인용 수 49

한 줄 요약

2017–2023 기간의 LLM 연구에 대한 계량적 연구 및 담론 분석으로, 5,000편이 넘는 출판물을 종합하여 경향, 패러다임, 및 응용을 맵으로 제시합니다.

ABSTRACT

Large language models (LLMs) are a class of language models that have demonstrated outstanding performance across a range of natural language processing (NLP) tasks and have become a highly sought-after research area, because of their ability to generate human-like language and their potential to revolutionize science and technology. In this study, we conduct bibliometric and discourse analyses of scholarly literature on LLMs. Synthesizing over 5,000 publications, this paper serves as a roadmap for researchers, practitioners, and policymakers to navigate the current landscape of LLMs research. We present the research trends from 2017 to early 2023, identifying patterns in research paradigms and collaborations. We start with analyzing the core algorithm developments and NLP tasks that are fundamental in LLMs research. We then investigate the applications of LLMs in various fields and domains including medicine, engineering, social science, and humanities. Our review also reveals the dynamic, fast-paced evolution of LLMs research. Overall, this paper offers valuable insights into the current state, impact, and potential of LLMs research and its applications.

연구 동기 및 목표

• 2017년부터 초 2023년까지의 대형 언어 모델(LLMs) 연구의 진화와 연구 환경을 특징 지도로 파악한다.
• LLMs 연구를 주도하는 핵심 알고리즘 개발 및 기본 NLP 작업을 식별한다.
• 의료, 공학, 사회과학, 인문학 분야에서의 LLMs 응용을 고찰한다.
• 연구자, 실무자 및 정책입안자에게 정보를 제공하기 위해 협력 관계, 연구 패러다임 및 담론 패턴을 맵핑한다.

제안 방법

• LLMs에 대한 5,000편이 넘는 출판물 코퍼스에 대한 계량서지 분석을 수행한다.
• 용어, 주제 및 프레이밍의 패턴을 밝히기 위한 담론 분석을 수행한다.
• 핵심 알고리즘, NLP 작업 및 적용 도메인의 경향을 종합한다.
• LLMs 연구의 현재 상태, 영향 및 잠재력에 대한 로드맵을 제시하기 위해 통합된 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 2017년부터 초 2023년까지 LLMs의 지배적인 연구 패러다임과 알고리즘 개발은 무엇인가?
• RQ2 의료, 공학, 사회과학, 인문학 등의 다양한 영역에서 LLMs가 어떻게 적용되어 왔는가?
• RQ3 LLMs 문헌에서의 협력 패턴과 담론의 특징은 무엇인가?
• RQ4 계량서지 및 담론 분석에 따른 LLMs 연구의 궤적과 향후 잠재력은 무엇인가?

주요 결과

• LLMs 연구는 2017년–초 2023년 사이에 역동적이고 빠르게 진화하는 모습을 보인다.
• 핵심 알고리즘 개발과 기본 NLP 작업은 LLMs 연구의 중심에 남아 있다.
• LLMs는 의료, 공학, 사회과학, 인문학 등 다양한 분야에 걸쳐 적용된다.
• 본 연구는 LLMs 환경을 형성하는 협력 및 담론의 패턴을 강조한다.
• 본 연구는 연구자, 실무자 및 정책입안자에게 로드맵을 제공한다.