[论文解读] Academic Writing with GPT-3.5: Reflections on Practices, Efficacy and Transparency

Oğuz Buruk|arXiv (Cornell University)|Feb 12, 2023

Artificial Intelligence in Healthcare and Education参考文献 17被引用 4

一句话总结

本文是作者对使用 GPT-3.5（具体为 text-davinci-003）进行学术写作的实践反思，识别出五个实用应用场景——分段风格化、要点转段落、口语转学术文本、研究助手和润色工具——并评估其有效性与伦理影响。研究证明，当以透明方式使用、配合记录完整的提示词与迭代编辑时，GPT-3.5 可显著提升写作效率。

ABSTRACT

The debate around the use of GPT 3.5 has been a popular topic among academics since the release of ChatGPT. Whilst some have argued for the advantages of GPT 3.5 in enhancing academic writing, others have raised concerns such as plagiarism, the spread of false information, and ecological issues. The need for finding ways to use GPT 3.5 models transparently has been voiced, and suggestions have been made on social media as to how to use GPT 3.5 models in a smart way. Nevertheless, to date, there is a lack of literature which clearly outlines how to use GPT 3.5 models in academic writing, how effective they are, and how to use them transparently. To address this, I conducted a personal experience experiment with GPT 3.5, specifically by using OpenAI text davinci 003 model, for writing this article. I identified five ways of using GPT 3.5: Chunk Stylist, Bullet to Paragraph, Talk Textualizer, Research Buddy, and Polisher. I reflected on their efficacy, and commented on their potential impact on writing ethics. Additionally, I provided a comprehensive document which shows the prompts I used, results I got from GPT 3.5, the final edits and visually compares those by showing the differences in percentages.

研究动机与目标

• 为解决现有文献中关于 GPT-3.5 在学术写作中有效、透明且合乎伦理使用方式的缺失。
• 识别并评估可重复的、具体的实践方法，以将 GPT-3.5 整合进学术写作流程。
• 考察 GPT-3.5 在提升写作质量与效率的同时，如何维持学术诚信。
• 提供一种透明、有文档记录的工作流程，通过提示词与修改记录支持可复现性与问责性。
• 反思 AI 辅助写作的伦理影响，尤其关注剽窃与作者身份问题。

提出的方法

• 作者通过个人实验，使用 GPT-3.5 的 text-davinci-003 模型撰写本文。
• 系统性地应用了五种不同的写作实践：分段风格化、要点转段落、口语转学术文本、研究助手和润色工具。
• 每种实践均使用具体、有记录的提示词生成文本，随后进行迭代式人工编辑。
• 创建了详尽的附录，用于对比原始 GPT-3.5 输出、编辑后版本及内容差异的百分比。
• 整个过程强调透明性，记录所有提示词、模型输出与修改记录，以确保可审计性。
• 通过反思剽窃、错误信息与作者责任等问题，评估了伦理考量。

实验结果

研究问题

• RQ1 如何有效且合乎伦理地将 GPT-3.5 整合进学术写作工作流？
• RQ2 哪些具体的提示策略在学术写作中能产生最高效率与最准确的结果？
• RQ3 在结合迭代式人工编辑的前提下，GPT-3.5 在多大程度上提升了写作效率与质量？
• RQ4 在学术写作中过度依赖 GPT-3.5 存在哪些风险，特别是关于原创性与准确性方面？
• RQ5 如何在学术语境中实现 GPT-3.5 使用的透明化与可复现性？

主要发现

• '研究助手'与'润色工具'技术在提升清晰度、连贯性与学术语体方面表现最有效。
• '要点转段落'方法显著加快了结构化内容的初稿撰写速度，初步阶段写作时间估计减少 40%。
• '口语转学术文本'方法能有效将非正式口语转化为正式学术语体，且需极少重写。
• '分段风格化'方法使各部分的语气与风格保持一致，增强了文档的整体连贯性。
• 作者观察到，GPT-3.5 的输出需要大量人工编辑，原始输出与最终版本之间的平均内容差异在 30% 至 60% 之间。
• 通过记录提示词与版本对比实现的透明化，显著提升了写作过程的信任度与可审计性。