[論文レビュー] A Bibliometric Review of Large Language Models Research from 2017 to 2023

Lizhou Fan, Lingyao Li+4 more|arXiv (Cornell University)|Apr 3, 2023

Topic Modeling被引用数 49

ひとこと要約

2017–2023年のLLM研究の文献計量と談話分析を行い、5,000件を超える出版物を統合して傾向・パラダイム・応用を整理する。

ABSTRACT

Large language models (LLMs) are a class of language models that have demonstrated outstanding performance across a range of natural language processing (NLP) tasks and have become a highly sought-after research area, because of their ability to generate human-like language and their potential to revolutionize science and technology. In this study, we conduct bibliometric and discourse analyses of scholarly literature on LLMs. Synthesizing over 5,000 publications, this paper serves as a roadmap for researchers, practitioners, and policymakers to navigate the current landscape of LLMs research. We present the research trends from 2017 to early 2023, identifying patterns in research paradigms and collaborations. We start with analyzing the core algorithm developments and NLP tasks that are fundamental in LLMs research. We then investigate the applications of LLMs in various fields and domains including medicine, engineering, social science, and humanities. Our review also reveals the dynamic, fast-paced evolution of LLMs research. Overall, this paper offers valuable insights into the current state, impact, and potential of LLMs research and its applications.

研究の動機と目的

• 2017年から2023年初頭までの、large language models (LLMs) 研究の進化と全体像を特徴づける。
• LLMs 研究を牽引するコアなアルゴリズム開発と基本的な NLP タスクを特定する。
• 医療、工学、社会科学、および人文学にわたるLLMsの応用を検討する。
• 研究者、実務家、政策立案者に情報を提供するために、協力関係、研究パラダイム、談話パターンをマッピングする。

提案手法

• LLMsに関する5,000件超の出版物の文献計量分析を実施する。
• 用語、トピック、フレーミングのパターンを明らかにする談話分析を行う。
• コアアルゴリズム、NLPタスク、応用分野の傾向を統合する。
• 現在の状況、影響、潜在力のロードマップを提供するための洞察を統合する。

実験結果

リサーチクエスチョン

• RQ1 2017年から2013年初頭までのLLMsにおける支配的な研究パラダイムとアルゴリズム開発は何か？
• RQ2 医療、工学、社会科学、人文学など、さまざまな分野でLLMsはどのように応用されてきたか？
• RQ3 LLMs文献における協力と談話のパターンはどのようなものか？
• RQ4 文献計量および談話分析に基づくLLMs研究の軌跡と将来の可能性はどうなるか？

主な発見

• LLMs研究は2017年から2013年初頭までの間にダイナミックで急速な進化を示している。
• コアアルゴリズム開発と基本的なNLPタスクはLLMs研究の中心であり続ける。
• LLMsは医療、工学、社会科学、人文学を含む多様な分野で応用されている。
• 本研究はLLMsのランドスケープを形作る協力と談話のパターンを浮き彫りにする。
• 本研究は研究者、実務家、政策立案者へのロードマップを提供する。