[논문 리뷰] A Glimpse in ChatGPT Capabilities and its impact for AI research

Frank Joublin, Antonello Ceravola외 4명|arXiv (Cornell University)|2023. 05. 10.

Artificial Intelligence in Healthcare and Education인용 수 13

한 줄 요약

요약: 이 논문은 GPT-3.5/3.4 및 GPT-4의 능력을 조사하고, AI 연구의 비용과 자원 함의를 논의하며, 다양한 능력의 폭이 일반 지능으로의 진전을 시사하고 후속 사회적 영향을 암시한다.

ABSTRACT

Large language models (LLMs) have recently become a popular topic in the field of Artificial Intelligence (AI) research, with companies such as Google, Amazon, Facebook, Amazon, Tesla, and Apple (GAFA) investing heavily in their development. These models are trained on massive amounts of data and can be used for a wide range of tasks, including language translation, text generation, and question answering. However, the computational resources required to train and run these models are substantial, and the cost of hardware and electricity can be prohibitive for research labs that do not have the funding and resources of the GAFA. In this paper, we will examine the impact of LLMs on AI research. The pace at which such models are generated as well as the range of domains covered is an indication of the trend which not only the public but also the scientific community is currently experiencing. We give some examples on how to use such models in research by focusing on GPT3.5/ChatGPT3.4 and ChatGPT4 at the current state and show that such a range of capabilities in a single system is a strong sign of approaching general intelligence. Innovations integrating such models will also expand along the maturation of such AI systems and exhibit unforeseeable applications that will have important impacts on several aspects of our societies.

연구 동기 및 목표

• GAFA 규모의 투자가 증가하는 가운데 AI 연구에서 대형 언어 모델(LLM) 연구를 자극한다.
• 하나의 시스템 내에서 ChatGPT 유사 모델의 능력 폭을 보여준다.
• GAFA가 아닌 연구실을 제약하는 자원 및 하드웨어 비용을 강조한다.
• LLM이 성숙함에 따라 잠재적 혁신과 예측 불가한 응용 사례를 논의한다.

제안 방법

• 연구 작업에서 GPT-3.5/ChatGPT 3.4와 GPT-4를 사용하는 사례를 제시한다.
• 능력 범위와 연구 관행에 대한 시사점을 질적으로 분석한다.
• 능력의 폭이 일반 지능에 다가가고 있음을 시사한다고 주장한다.
• 발전하는 AI 시스템이 예측 불가능한 응용 및 사회적 영향을 촉발할 수 있는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 GPT-3.5/3.4와 GPT-4가 연구 환경에서 보여주는 능력은 무엇인가?
• RQ2 연구실에서 이들 모델을 훈련하고 운영하는 데 관련된 자원과 하드웨어 비용은 무엇인가?
• RQ3 이들 모델의 능력이 AI 연구 방향과 혁신 궤도에 어떤 영향을 미치는가?
• RQ4 관찰된 능력이 일반 지능으로의 진전을 시사하는가 그리고 더 넓은 사회적 함의는 무엇인가?

주요 결과

• 이 모델들은 연구 과제에 활용될 수 있는 광범위한 능력을 보여준다.
• ChatGPT와 같은 단일 시스템은 번역, 생성, 추론에 걸친 다양한 기능을 보여준다.
• 능력의 폭은 일반 지능에 접근하고 있음을 강하게 시사하는 징표로 해석된다.
• 이러한 모델을 통합한 혁신은 성숙함에 따라 확대되고 예측 불가능한 응용을 낳을 것으로 예상된다.