[논문 리뷰] Algorithmic Ghost in the Research Shell: Large Language Models and Academic Knowledge Creation in Management Research

Nigel Williams, Stanislav Ivanov외 1명|arXiv (Cornell University)|2023. 03. 10.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

본 논문은 대형 언어 모델이 데이터 분석을 넘어 학술 지식 창출을 지원하는 데 어떻게 활용되어 왔는지 스코핑 리뷰(2018–Jan 2023)에 근거해 검토하고, Co-Writer, Research Assistant, Respondent로서의 향후 도입 경로를 제시한다.

ABSTRACT

The paper looks at the role of large language models in academic knowledge creation based on a scoping review (2018 to January 2023) of how researchers have previously used the language model GPT to assist in the performance of academic knowledge creation tasks beyond data analysis. These tasks include writing, editing, reviewing, dataset creation and curation, which have been difficult to perform using earlier ML tools. Based on a synthesis of these papers, this study identifies pathways for a future academic research landscape that incorporates wider usage of large language models based on the current modes of adoption in published articles as a Co-Writer, Research Assistant and Respondent.

연구 동기 및 목표

• 연구자들이 대형 언어 모델을 데이터 분석을 넘어 학술 지식 창출 과제에 어떻게 활용했는지 평가한다.
• 2018–January 2023의 스코핑 리뷰에서 GPT 지원 연구 활동에 대한 증거를 종합한다.
• LLM을 관리 연구 워크플로에 통합하기 위한 미래 경로를 식별하고 제시한다.

제안 방법

• GPT 지원 학술 과제에 관한 문헌 스코핑 리뷰를 수행한다(2018–January 2023).
• 지식 창출 과제에서 LLM의 활용 패턴을 도출하기 위해 논문 간의 증거를 합성한다.
• 채택 형태(Co-Writer, Research Assistant, Respondent)를 식별하고 향후 연구에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 연구자들은 데이터 분석을 넘어 학술 지식 창출 과제를 지원하기 위해 대형 언어 모델을 어떻게 활용했는가?
• RQ2 게시된 논문에서 나타나는 LLM의 채택 형태(Co-Writer, Research Assistant, Respondent)는 무엇인가?
• RQ3 LLM을 관리 연구에 통합하기 위해 제시되는 향후 연구 환경과 경로는 무엇인가?

주요 결과

• LLMs는 데이터 분석을 넘어 쓰기, 편집, 검토, 그리고 데이터 세트 생성 및 선별과 같은 과제를 돕는 데 활용되었다.
• 게시된 채택 패턴은 세 가지 모드: Co-Writer, Research Assistant, Respondent로 요약된다.
• 본 연구는 관리 연구에서 대형 언어 모델의 더 넓은 활용을 포함하는 향후 학술 연구 환경의 경로를 확인한다.