[논문 리뷰] Ethical Aspects of ChatGPT in Software Engineering Research

Muhammad Azeem Akbar, Arif Ali Khan외 1명|arXiv (Cornell University)|2023. 06. 13.

Artificial Intelligence in Healthcare and Education인용 수 11

한 줄 요약

이 논문은 소프트웨어 엔지니어링(SE) 연구에서 ChatGPT를 사용하는 동기 요인(motivators), 비동기 요인(demotivators), 및 윤리 원칙을 식별하고, 설문조사를 통해 이를 검증하며, 윤리적 통합을 가이드하기 위한 ISM 및 MICMAC 기반 의사 결정 모델을 개발한다. 113명의 응답자와 23명의 전문가로부터의 ISM 입력을 보고한다.

ABSTRACT

ChatGPT can improve Software Engineering (SE) research practices by offering efficient, accessible information analysis and synthesis based on natural language interactions. However, ChatGPT could bring ethical challenges, encompassing plagiarism, privacy, data security, and the risk of generating biased or potentially detrimental data. This research aims to fill the given gap by elaborating on the key elements: motivators, demotivators, and ethical principles of using ChatGPT in SE research. To achieve this objective, we conducted a literature survey, identified the mentioned elements, and presented their relationships by developing a taxonomy. Further, the identified literature-based elements (motivators, demotivators, and ethical principles) were empirically evaluated by conducting a comprehensive questionnaire-based survey involving SE researchers. Additionally, we employed Interpretive Structure Modeling (ISM) approach to analyze the relationships between the ethical principles of using ChatGPT in SE research and develop a level based decision model. We further conducted a Cross-Impact Matrix Multiplication Applied to Classification (MICMAC) analysis to create a cluster-based decision model. These models aim to help SE researchers devise effective strategies for ethically integrating ChatGPT into SE research by following the identified principles through adopting the motivators and addressing the demotivators. The findings of this study will establish a benchmark for incorporating ChatGPT services in SE research with an emphasis on ethical considerations.

연구 동기 및 목표

• ChatGPT를 SE 연구에서 윤리적으로 사용하도록 영향을 미치는 동기 요인과 비동기 요인을 식별한다.
• SE 연구에서 ChatGPT 배치를 안내하는 윤리 원칙을 정의하고 분류한다.
• SE 연구자들을 대상으로 한 설문조사를 통해 문헌에서 도출된 요소를 검증한다.
• ISM를 사용하여 원칙 간의 관계를 다층 구조로 모델링한다.
• MICMAC 기반의 클러스터 의사 결정 모델을 개발하여 SE 연구에서 윤리적 전략을 지원한다.

제안 방법

• 동기 요인, 비동기 요인 및 윤리 원칙을 추출하기 위해 문헌 조사를 수행한다(회색 문헌 포함).
• 5점 리커트 척도 설문조사를 통해 발견을 검증한다(n=113, 19개 국가).
• ISM를 적용하여 원칙 간의 다층 관계 맵을 도출한다(23명의 전문가 참여).
• 클러스터 기반 의사 결정 프레임워크를 위한 MICMAC 분석을 수행한다.
• ChatGPT를 SE 연구에 윤리적으로 통합하기 위한 시사점과 가이드라인을 보고한다.

Figure 1: Proposed Research Methodology

실험 결과

연구 질문

• RQ1 SE 연구에서 ChatGPT 사용을 촉진하는 동기 요인과 이를 저해하는 비동기 요인은 무엇인가?
• RQ2 SE 연구에서 ChatGPT 사용을 지배하는 윤리 원칙은 무엇이며, 이들은 어떻게 관련되는가?
• RQ3 동기 요인, 비동기 요인 및 원칙은 어떻게 상호 작용하며, 윤리적 도입을 안내하는 의사 결정 모델은 무엇인가?
• RQ4 SE 연구에서 ChatGPT를 적용할 때 윤리 원칙 간의 관계 구조는 어떻게 되는가?
• RQ5 ISM 및 MICMAC를 사용하여 ChatGPT를 활용한 SE 연구에서 윤리적 의사 결정을 지원할 수 있는가?

주요 결과

• 식별된 14개의 동기 요인이(예: 합성 데이터 생성, 도메인 특화 미세 조정, 사용성 시뮬레이션 등) SE 연구의 윤리적 도입을 뒷받침한다.
• 비동기 요인(예: 모델 한계, 데이터 집중적 미세 조정, 관행 불일치)은 윤리적 사용을 저해할 수 있으며 완화가 필요하다.
• 실증 설문조사(n=113, 19개국)는 확인된 윤리 원칙의 중요성에 대해 약 80-86%의 동의를 보이며, 특히 편향(Bias), 프라이버시(Privacy), 공정성(Fairness)을 강조한다.
• 편향(P1), 프라이버시(P2), 공정성(P14)은 약 85-86%의 응답자가 매우 중요한 윤리 원칙으로 간주한다.
• 조작/위선(P7)은 편향, 프라이버시, 공정성에 비해 덜 중요한 원칙으로 인식된다(약 72%).
• ISM은 윤리 원칙 간의 상호 의존성을 보여주는 5단계 구조를 나타내며; MICMAC은 윤리적 통합을 위한 클러스터 기반 의사 결정 뷰를 지원한다.

Figure 2: Mapping of motivators and demotivators against research ethics