[논문 리뷰] ChatGPT: Applications, Opportunities, and Threats

Aram Bahrini, Mohammadsadra Khamoshifar외 5명|arXiv (Cornell University)|2023. 04. 14.

Artificial Intelligence in Healthcare and Education인용 수 41

한 줄 요약

이 논문은 10개 도메인에 걸친 ChatGPT의 응용, 기회 및 위협을 조사하고, 교육적 실험에서 GPT-4가 GPT-3.5보다 우수하다는 결과를 보고합니다. 한계, 윤리 및 책임 있는 사용을 위한 거버넌스에 대해 논의합니다.

ABSTRACT

Developed by OpenAI, ChatGPT (Conditional Generative Pre-trained Transformer) is an artificial intelligence technology that is fine-tuned using supervised machine learning and reinforcement learning techniques, allowing a computer to generate natural language conversation fully autonomously. ChatGPT is built on the transformer architecture and trained on millions of conversations from various sources. The system combines the power of pre-trained deep learning models with a programmability layer to provide a strong base for generating natural language conversations. In this study, after reviewing the existing literature, we examine the applications, opportunities, and threats of ChatGPT in 10 main domains, providing detailed examples for the business and industry as well as education. We also conducted an experimental study, checking the effectiveness and comparing the performances of GPT-3.5 and GPT-4, and found that the latter performs significantly better. Despite its exceptional ability to generate natural-sounding responses, the authors believe that ChatGPT does not possess the same level of understanding, empathy, and creativity as a human and cannot fully replace them in most situations.

연구 동기 및 목표

• ChatGPT 및 그 기반 GPT 아키텍처에 관한 기존 문헌을 검토한다.
• 10개 도메인에 걸친 ChatGPT 응용, 기회 및 위협을 분류하고 분석한다.
• 비즈니스/산업 및 교육 분야의 도메인별 예시를 제시한다.
• 교육 환경에서 GPT-3.5와 GPT-4를 비교하는 실험 연구를 수행한다.
• 책임 있는 사용을 위한 윤리, 프라이버시 및 거버넌스 고려사항을 논의한다.

제안 방법

• ChatGPT 개발 및 트랜스포머 기반 모델에 대한 문헌고찰.
• 10개 분야에 걸친 응용, 기회 및 위협의 도메인 기반 분류.
• 실용적 활용 사례를 설명하기 위한 비즈니스/산업 및 교육 분야의 상세 예시.
• 대학 중간고사를 활용한 GPT-3.5와 GPT-4의 실험 연구(n=모델당 50).
• 정규성 검정 및 Mann-Whitney U 검정을 포함한 통계 분석을 통한 중앙값 비교.
• 결과 해석 및 한계와 실제적 시사점에 대한 논의.

실험 결과

연구 질문

• RQ1 10개 도메인에서 ChatGPT의 주요 응용은 무엇인가?
• RQ2 각 도메인에서 ChatGPT가 제시하는 기회와 위협은 무엇인가?
• RQ3 교육 과제에서 GPT-4가 GPT-3.5보다 우수한가, 얼마나 차이가 나는가?
• RQ4 교육 및 기타 분야에서 ChatGPT를 배포할 때 생기는 윤리, 프라이버시 및 보안 이슈는 무엇인가?

주요 결과

Metric	GPT-3.5	GPT-4
Sample Size	50	50
Mean	73.5	90.19
Standard Error of Mean	0.72	0.54
Median	73	91
Mode	76	88
Standard Deviation	5.05	3.84
Skewness	0.37	-0.86
Kurtosis	-0.09	0.77
Min	65	78.5
Max	87	96
Range	22	17.5

• 교육 과제에서 GPT-4가 GPT-3.5보다 유의하게 더 우수한 성과를 보이며 중앙값이 더 높다.
• ChatGPT는 비즈니스, 교육, 과학/기술, 정부, 건강, 인프라, 환경, 커뮤니케이션, 예술, 라이프스타일 등 10개 도메인에 걸쳐 광범위한 응용이 있다.
• 주된 위협으로 데이터 편향, 환각, 투명성 부족, 프라이버시 및 보안 문제, 윤리 이슈가 도메인 전반에 걸쳐 나타난다.
• 교육 중심의 ChatGPT 사용은 수업, 연구, 글쓰기 지원에 기여할 수 있지만 편향, 의존성, 진실성 위험의 신중한 완화가 필요하다.
• 실험 결과는 GPT-4의 우수한 성능과 점수의 비정규 분포를 나타내는 자세한 통계를 포함하며, 비모수 검정의 필요성을 시사한다.