[论文解读] Ethical Aspects of ChatGPT in Software Engineering Research

Muhammad Azeem Akbar, Arif Ali Khan+1 more|arXiv (Cornell University)|Jun 13, 2023

Artificial Intelligence in Healthcare and Education被引用 11

一句话总结

本论文识别了在软件工程（SE）研究中使用 ChatGPT 的动机、抑制因素以及伦理原则，通过问卷进行验证，并基于 ISM 与 MICMAC 的决策模型来引导伦理整合。研究报告来自 113 名受访者的调查支持见解，以及来自 23 位专家的 ISM 输入。

ABSTRACT

ChatGPT can improve Software Engineering (SE) research practices by offering efficient, accessible information analysis and synthesis based on natural language interactions. However, ChatGPT could bring ethical challenges, encompassing plagiarism, privacy, data security, and the risk of generating biased or potentially detrimental data. This research aims to fill the given gap by elaborating on the key elements: motivators, demotivators, and ethical principles of using ChatGPT in SE research. To achieve this objective, we conducted a literature survey, identified the mentioned elements, and presented their relationships by developing a taxonomy. Further, the identified literature-based elements (motivators, demotivators, and ethical principles) were empirically evaluated by conducting a comprehensive questionnaire-based survey involving SE researchers. Additionally, we employed Interpretive Structure Modeling (ISM) approach to analyze the relationships between the ethical principles of using ChatGPT in SE research and develop a level based decision model. We further conducted a Cross-Impact Matrix Multiplication Applied to Classification (MICMAC) analysis to create a cluster-based decision model. These models aim to help SE researchers devise effective strategies for ethically integrating ChatGPT into SE research by following the identified principles through adopting the motivators and addressing the demotivators. The findings of this study will establish a benchmark for incorporating ChatGPT services in SE research with an emphasis on ethical considerations.

研究动机与目标

• 识别影响在 SE 研究中伦理使用 ChatGPT 的动机与抑制因素。
• 定义并分类指导在 SE 研究中部署 ChatGPT 的伦理原则。
• 通过对 SE 研究人员的问卷验证文献源元素。
• 使用 Interpretive Structure Modeling (ISM) 建模伦理原则之间的关系。
• 开发基于 MICMAC 的聚类决策模型，以辅助 SE 研究中的伦理策略。

提出的方法

• 进行文献综述（包括灰色文献）以提取动机、抑制因素和伦理原则。
• 用五点 Likert 量表的问卷来验证发现（n=113 名来自 19 个国家的受访者）。
• 应用 Interpretive Structure Modeling (ISM) 以推导原则之间的多层次关系图（涉及 23 位专家）。
• 执行基于分类的交叉影响矩阵乘法分析（MICMAC）以构建聚类式决策框架。
• 报告影响并为在 SE 研究中伦理整合 ChatGPT 提供指南。

Figure 1: Proposed Research Methodology

实验结果

研究问题

• RQ1 哪些动机会鼓励在 SE 研究中使用 ChatGPT，哪些抑制因素会阻碍它？
• RQ2 哪些伦理原则规定在 SE 研究中使用 ChatGPT，它们之间如何关联？
• RQ3 动机、抑制因素和原则如何互动，以及哪些决策模型可以引导道德采用？
• RQ4 在 SE 研究中应用 ChatGPT 时，伦理原则之间的关系结构是怎样的？
• RQ5 如何使用 ISM 和 MICMAC 来支持在 ChatGPT 的 SE 研究中的伦理决策？

主要发现

• 识别出的 14 种动机（例如，合成数据生成、领域特定微调、可用性仿真）支持 SE 研究中的伦理采用。
• 抑制因素（例如，模型局限、数据密集型微调、规范错位）可能削弱伦理使用，需要缓解。
• 实证调查（n=113，来自 19 个国家）显示约 80-86% 的受访者同意所识别伦理原则的重要性（特别是偏见、隐私和公平）。
• 偏见（P1）、隐私（P2）和公平（P14）被大约 85-86% 的受访者认为是高度重要的伦理原则。
• 操控（P7）被认为不如偏见、隐私和公平等原则重要（约 72%）。
• ISM 显示了一个五层结构，揭示伦理原则之间的相互依赖；MICMAC 支持用于伦理整合的聚类式决策视图。

Figure 2: Mapping of motivators and demotivators against research ethics