[论文解读] ChatGPT as the Transportation Equity Information Source for Scientific Writing

Boniphace Kutela, Shoujia Li+2 more|arXiv (Cornell University)|Mar 10, 2023

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本研究通过将ChatGPT生成的摘要与152篇Web of Science（WoS）收录论文的人工撰写摘要进行比较，评估了ChatGPT在生成交通公平研究论文摘要方面的能力。采用统计分析与文本挖掘方法，发现ChatGPT生成摘要与人工摘要之间的相似度仅为中等水平（平均58%），在可及性、公共交通和政策等主题上表现出较高相似度，表明其作为信息来源具有有限但潜在的用途，但需进行大量改进。

ABSTRACT

Transportation equity is an interdisciplinary agenda that requires both transportation and social inputs. Traditionally, transportation equity information are sources from public libraries, conferences, televisions, social media, among other. Artificial intelligence (AI) tools including advanced language models such as ChatGPT are becoming favorite information sources. However, their credibility has not been well explored. This study explored the content and usefulness of ChatGPT-generated information related to transportation equity. It utilized 152 papers retrieved through the Web of Science (WoS) repository. The prompt was crafted for ChatGPT to provide an abstract given the title of the paper. The ChatGPT-based abstracts were then compared to human-written abstracts using statistical tools and unsupervised text mining. The results indicate that a weak similarity between ChatGPT and human-written abstracts. On average, the human-written abstracts and ChatGPT generated abstracts were about 58% similar, with a maximum and minimum of 97% and 1.4%, respectively. The keywords from the abstracts of papers with over the mean similarity score were more likely to be similar whereas those from below the average score were less likely to be similar. Themes with high similarity scores include access, public transit, and policy, among others. Further, clear differences in the key pattern of clusters for high and low similarity score abstracts was observed. Contrarily, the findings from collocated keywords were inconclusive. The study findings suggest that ChatGPT has the potential to be a source of transportation equity information. However, currently, a great amount of attention is needed before a user can utilize materials from ChatGPT

研究动机与目标

• 评估ChatGPT生成内容在交通公平研究中的可信度与实用性。
• 比较ChatGPT生成摘要与同行评审论文中人工撰写摘要的相似度。
• 识别高相似度与低相似度摘要对中的主题模式与关键词聚类。
• 评估类似ChatGPT的大语言模型在支持交通公平等跨学科领域科学研究写作方面的潜力。
• 确定在未经验证的情况下，AI生成内容在学术研究中可信赖使用的程度。

提出的方法

• 从Web of Science（WoS）数据库中检索了152篇交通公平研究论文。
• 以论文标题作为提示，通过ChatGPT生成摘要。
• 应用统计工具量化ChatGPT生成摘要与人工摘要之间的相似度。
• 采用无监督文本挖掘方法分析摘要中的关键词模式与主题聚类。
• 比较高相似度与低相似度摘要对之间的关键词共现与主题分组情况。
• 根据相似度得分相对于平均值（58%）进行分类，以分析内容结构与主题分布的差异。

实验结果

研究问题

• RQ1 ChatGPT生成的摘要与交通公平研究中人工撰写的摘要在多大程度上相似？
• RQ2 ChatGPT与人工摘要在哪些主题领域表现出更高或更低的相似度？
• RQ3 高相似度与低相似度摘要对之间的关键词共现模式有何差异？
• RQ4 ChatGPT在多大程度上可作为交通公平科学研究写作的可靠信息来源？
• RQ5 ChatGPT生成的摘要与研究人员撰写摘要之间在结构与语义上存在哪些差异？

主要发现

• ChatGPT生成摘要与人工摘要的平均相似度为58%，范围在1.4%至97%之间。
• 相似度高于平均值的摘要更可能共享关键词，表明主题一致性更高。
• 可及性、公共交通和政策等主题在ChatGPT与人工摘要之间表现出更高的相似度得分。
• 高相似度与低相似度摘要之间观察到明显的聚类模式差异，表明其具有不同的结构特征。
• 关键词共现分析结果不明确，高相似度与低相似度对之间未呈现一致的共现模式。
• 尽管相似度仅为中等水平，ChatGPT在交通公平研究中仍具有作为补充信息来源的潜力，但需经过大量用户验证。