[论文解读] ChatGPT: Applications, Opportunities, and Threats

Aram Bahrini, Mohammadsadra Khamoshifar+5 more|arXiv (Cornell University)|Apr 14, 2023

Artificial Intelligence in Healthcare and Education被引用 41

一句话总结

这篇论文对 ChatGPT 在十个领域的应用、机遇和威胁进行了综述，并报道了一个教育实验，结果显示 GPT-4 的表现优于 GPT-3.5。它讨论了局限性、伦理与治理，以实现负责任的使用。

ABSTRACT

Developed by OpenAI, ChatGPT (Conditional Generative Pre-trained Transformer) is an artificial intelligence technology that is fine-tuned using supervised machine learning and reinforcement learning techniques, allowing a computer to generate natural language conversation fully autonomously. ChatGPT is built on the transformer architecture and trained on millions of conversations from various sources. The system combines the power of pre-trained deep learning models with a programmability layer to provide a strong base for generating natural language conversations. In this study, after reviewing the existing literature, we examine the applications, opportunities, and threats of ChatGPT in 10 main domains, providing detailed examples for the business and industry as well as education. We also conducted an experimental study, checking the effectiveness and comparing the performances of GPT-3.5 and GPT-4, and found that the latter performs significantly better. Despite its exceptional ability to generate natural-sounding responses, the authors believe that ChatGPT does not possess the same level of understanding, empathy, and creativity as a human and cannot fully replace them in most situations.

研究动机与目标

• 综述关于 ChatGPT 及其基础的 GPT 架构的现有文献。
• 将 ChatGPT 的应用、机遇与威胁在十个领域进行分类与分析。
• 给出企业/行业与教育领域的具体实例。
• 在教育环境中进行 GPT-3.5 与 GPT-4 的实验比较。
• 讨论负责任使用的伦理、隐私与治理考量。

提出的方法

• 关于 ChatGPT 发展及基于变换器的模型的文献综述。
• 在十个领域对应用、机遇与威胁进行基于领域的分类。
• 在企业/行业和教育中的详细示例，以说明实际应用。
• 使用大学期中考试（每个模型 n=50）进行的比较 GPT-3.5 与 GPT-4 的实验研究。
• 包括正态性检验和 Mann-Whitney U 检验的统计分析，用以比较中位数。
• 对结果的解释以及对局限性和实际意义的讨论。

实验结果

研究问题

• RQ1 ChatGPT 在十个领域的主要应用是什么？
• RQ2 ChatGPT 在每个领域带来哪些机遇和威胁？
• RQ3 GPT-4 在教育任务中的表现是否优于 GPT-3.5？差距有多大？
• RQ4 在教育及其他领域部署 ChatGPT 会带来哪些伦理、隐私与安全关切？

主要发现

Metric	GPT-3.5	GPT-4
Sample Size	50	50
Mean	73.5	90.19
Standard Error of Mean	0.72	0.54
Median	73	91
Mode	76	88
Standard Deviation	5.05	3.84
Skewness	0.37	-0.86
Kurtosis	-0.09	0.77
Min	65	78.5
Max	87	96
Range	22	17.5

• GPT-4 在教育考试任务中显著优于 GPT-3.5，中位分数更高。
• ChatGPT 在十个领域有广泛应用，包括商业、教育、科学/技术、政府、健康、基础设施、环境、传播、艺术和生活方式。
• 各领域的主要威胁包括数据偏见、幻觉、缺乏透明度、隐私与安全问题，以及伦理问题。
• 面向教育的 ChatGPT 使用可以支持教学、研究与写作，但需谨慎缓解偏见、依赖性和诚信风险。
• 实验结果包括显示 GPT-4 的更优表现及分数非正态分布的详细统计，需进行非参数检验。