[논문 리뷰] One Small Step for Generative AI, One Giant Leap for AGI: A Complete Survey on ChatGPT in AIGC Era

Chaoning Zhang, Chenshuang Zhang외 14명|arXiv (Cornell University)|2023. 04. 04.

Artificial Intelligence in Healthcare and Education인용 수 89

한 줄 요약

AIGC 시대의 ChatGPT에 대한 포괄적 조사로, OpenAI, GPT 역사, 핵심 기술, 응용 분야, 도전과제, 그리고 AGI를 향한 미래 전망을 다룹니다.

ABSTRACT

OpenAI has recently released GPT-4 (a.k.a. ChatGPT plus), which is demonstrated to be one small step for generative AI (GAI), but one giant leap for artificial general intelligence (AGI). Since its official release in November 2022, ChatGPT has quickly attracted numerous users with extensive media coverage. Such unprecedented attention has also motivated numerous researchers to investigate ChatGPT from various aspects. According to Google scholar, there are more than 500 articles with ChatGPT in their titles or mentioning it in their abstracts. Considering this, a review is urgently needed, and our work fills this gap. Overall, this work is the first to survey ChatGPT with a comprehensive review of its underlying technology, applications, and challenges. Moreover, we present an outlook on how ChatGPT might evolve to realize general-purpose AIGC (a.k.a. AI-generated content), which will be a significant milestone for the development of AGI.

연구 동기 및 목표

• AGI/AIGC 환경에서 OpenAI와 ChatGPT의 맥락을 소개한다.
• ChatGPT를 뒷받침하는 기술과 핵심 기법(트랜스포머, 자회귀 모델링)을 요약한다.
• 과학적 글쓰기, 교육, 의학을 비롯한 다른 분야에서의 ChatGPT 응용을 검토한다.
• 기술적 한계, 남용, 윤리, 규제 등을 포함한 도전과제를 식별한다.
• 일반 목적의 AIGC와 AGI를 향한 향후 방향을 논의한다.

제안 방법

• GPT-4까지의 ChatGPT에 관한 기존 문헌을 합성하고 정리한다.
• 트랜스포머 백본과 자회귀 모델링을 형식적 정의와 함께 설명한다.
• GPT-1부터 GPT-4까지의 모델 계보와 주요 학습/데이터 세부 정보를 추적한다.
• 응용을 도메인(과학적 글쓰기, 교육, 의학, 기타)별로 분류한다.
• 도전과 규제/윤리적 고려사항을 강조하고 AGI 지향적 전망을 제시한다.

실험 결과

연구 질문

• RQ1 ChatGPT를 가능하게 하는 기반 기술과 학습 패러다임은 무엇인가(트랜스포머, 자회귀 모델링)?
• RQ2 ChatGPT가 GPT-1에서 GPT-4까지 어떻게 진화했고, 어떤 능력과 한계가 있는가?
• RQ3 과학적 글쓰기, 교육, 보건의료 등 다양한 도메인에서 ChatGPT의 주요 응용은 무엇인가?
• RQ4 ChatGPT 배치에 수반되는 도전과제, 악용 위험, 윤리적 관심사, 규제 이슈는 무엇인가?
• RQ5 일반 목적의 AIGC와 AGI를 향한 ChatGPT의 예상 경로는 무엇인가?

주요 결과

• ChatGPT(GPT-4 기반)는 다중모달 입력(텍스트와 이미지)을 지원하고 전문 업무에서 높은 성능을 달성하며, 여러 표준에서 인간과 유사한 능력을 보인다.
• GPT 모델의 진전(GPT-1에서 GPT-4까지)은 매개변수, 데이터, 능력이 극적으로 증가했고, 제로샷/퓨샷 성능 향상과 GPT-3.5의 RLHF를 포함한다.
• 트랜스포머와 자회귀 모델링은 현대 LLM의 기초이며, ChatGPT는 셀프어텐션과 디코더-온리 아키텍처를 활용해 유창하고 맥락 인식적인 생성을 실현한다.
• 응용은 과학적 글쓰기, 데이터 분석, 문헌 검토, 콘텐츠 생성, 교정, 학술 동료 검토 역할에 걸쳐 있으며 효과와 주의점이 다양하다.
• 도전과제로는 기술적 한계, 악용 가능성, 윤리적 우려, 배치 및 거버넌스를 형성하는 규제 고려사항이 포함된다.
• 본 조사는 ChatGPT의 현재 능력을 넘어서는 일반 목적의 AIGC와 AGI 달성을 향한 전망을 제시한다.