[论文解读] Augmenting the Author: Exploring the Potential of AI Collaboration in Academic Writing

Joseph Tu, Hilda Hadan+4 more|arXiv (Cornell University)|Apr 23, 2024

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本文将 Gemini 与 ChatGPT 作为研究大纲开发中的 AI 写作助手进行比较，强调提示设计、输出分析以及负责任的人机协作。

ABSTRACT

This workshop paper presents a critical examination of the integration of Generative AI (Gen AI) into the academic writing process, focusing on the use of AI as a collaborative tool. It contrasts the performance and interaction of two AI models, Gemini and ChatGPT, through a collaborative inquiry approach where researchers engage in facilitated sessions to design prompts that elicit specific AI responses for crafting research outlines. This case study highlights the importance of prompt design, output analysis, and recognizing the AI's limitations to ensure responsible and effective AI integration in scholarly work. Preliminary findings suggest that prompt variation significantly affects output quality and reveals distinct capabilities and constraints of each model. The paper contributes to the field of Human-Computer Interaction by exploring effective prompt strategies and providing a comparative analysis of Gen AI models, ultimately aiming to enhance AI-assisted academic writing and prompt a deeper dialogue within the HCI community.

研究动机与目标

• 探究生成式 AI 如何协助学术写作的早期起草阶段。
• 研究能产生有用且可靠 AI 输出的提示设计策略。
• 对两种生成式 AI 模型（ChatGPT 与 Gemini）在撰写研究大纲方面进行比较分析。
• 突出在人机交互（HCI）中负责任的 AI 辅助写作的局限性、挑战和最佳实践。
• 促进入学术界关于 AI 支持写作工作流的透明度与对话。

提出的方法

• 与4–6名研究人员共同主持协作探究会，设计提示并讨论 AI 输出。
• 使用 Otter.Ai 对每周讨论进行音频转录，以分析提示和回应。
• 对同一研究主题构造结构化提示，以让 Gemini 和 ChatGPT 生成大纲。
• 基于小组讨论的定性比较，评估模型的优点、局限性及改进建议。
• 对 AI 辅助写作的可靠性、透明度以及人类作者角色进行批判性反思。

实验结果

研究问题

• RQ1 提示设计与提示变化如何影响 AI 生成的研究大纲的质量与连贯性？
• RQ2 在生成研究大纲方面，ChatGPT 与 Gemini 的优势、局限性及各自的独特能力是什么？
• RQ3 在学术写作中使用生成式 AI 时，相关的可靠性、透明度与伦理考量有哪些？
• RQ4 如何优化人机协作以提升研究中大纲开发过程？
• RQ5 在 HCI 情境中，关于负责任且高效的 AI 辅助写作有哪些指引？

主要发现

• 提示变体显著影响跨模型的输出质量。
• Gemini 提供动态建议和推理过程，能够引导参考资料检索。
• ChatGPT 遵循明确指令但可能编造回答，且在句子重写及某些 LaTeX 格式方面存在困难。
• 两种模型都依赖明确提示来完成基于参考文献的段落改写等任务，凸显对精确指令的需求。
• 关于 AI 介入的透明度以及对模型局限性的处理对于可信的 AI 辅助写作至关重要。
• 人机协作需要持续的反思与对话，以最大化收益并缓解不断发展的限制。