[論文レビュー] Ethical Aspects of ChatGPT in Software Engineering Research

Muhammad Azeem Akbar, Arif Ali Khan+1 more|arXiv (Cornell University)|Jun 13, 2023

Artificial Intelligence in Healthcare and Education被引用数 11

ひとこと要約

本論文は、ソフトウェア工学（SE）研究におけるChatGPTの使用に関する動機づけ要因、動機づけを妨げる要因、そして倫理原則を特定し、それらを質問紙で検証し、倫理的統合を導くためのISMおよびMICMACベースの意思決定モデルを開発する。113名の回答による調査データと、23名の専門家からのISM入力を報告している。

ABSTRACT

ChatGPT can improve Software Engineering (SE) research practices by offering efficient, accessible information analysis and synthesis based on natural language interactions. However, ChatGPT could bring ethical challenges, encompassing plagiarism, privacy, data security, and the risk of generating biased or potentially detrimental data. This research aims to fill the given gap by elaborating on the key elements: motivators, demotivators, and ethical principles of using ChatGPT in SE research. To achieve this objective, we conducted a literature survey, identified the mentioned elements, and presented their relationships by developing a taxonomy. Further, the identified literature-based elements (motivators, demotivators, and ethical principles) were empirically evaluated by conducting a comprehensive questionnaire-based survey involving SE researchers. Additionally, we employed Interpretive Structure Modeling (ISM) approach to analyze the relationships between the ethical principles of using ChatGPT in SE research and develop a level based decision model. We further conducted a Cross-Impact Matrix Multiplication Applied to Classification (MICMAC) analysis to create a cluster-based decision model. These models aim to help SE researchers devise effective strategies for ethically integrating ChatGPT into SE research by following the identified principles through adopting the motivators and addressing the demotivators. The findings of this study will establish a benchmark for incorporating ChatGPT services in SE research with an emphasis on ethical considerations.

研究の動機と目的

• SE研究におけるChatGPTの倫理的使用に影響する動機づけ要因と動機づけを妨げる要因を特定する。
• SE研究におけるChatGPTの展開を導く倫理原則を定義し、分類する。
• SE研究者を対象とした質問紙を用いて文献に基づく要素を検証する。
• Interpretive Structure Modeling（ISM）を用いて倫理原則間の関係をモデル化する。
• SE研究における倫理戦略を支援するMICMACベースのクラスタ意思決定モデルを開発する。

提案手法

• 動機づけ要因、動機づけを妨げる要因、倫理原則を抽出するための文献調査（グレー文献を含む）を実施する。
• 5点リッカート尺度を用いた質問紙で調査結果を検証する（回答者113名、19か国）。
• 倫理原則間の多層関係マップを導出するためにISMを適用する（23名の専門家を含む）。
• クラスタベースの意思決定フレームワークのためにMICMAC分析を実行する。
• 含意を報告し、SE研究へのChatGPTの倫理的統合に関する指針を提供する。

Figure 1: Proposed Research Methodology

実験結果

リサーチクエスチョン

• RQ1 SE研究におけるChatGPTの利用を促進する動機づけ要因は何であり、妨げる動機づけ要因は何か？
• RQ2 SE研究におけるChatGPTの使用を規定する倫理原則は何であり、それらはどのように関連しているか？
• RQ3 動機づけ要因、動機づけを妨げる要因、および原則はどのように相互作用し、倫理的採用を導くどのような意思決定モデルがあるか？
• RQ4 SE研究でのChatGPT適用時の倫理原則間の関係構造はどうなっているか？
• RQ5 ISMとMICMACをどのように活用して、ChatGPTを用いたSE研究における倫理的意思決定を支援できるか？

主な発見

• 14の動機づけ要因を特定（例：合成データ生成、ドメイン特指の微調整、ユーザビリティシミュレーションなど）がSE研究の倫理的採用を支援する。
• 動機づけを妨げる要因（例：モデルの制限、データ集中的な微調整、慣例の不整合）は倫理的使用を弱体化する可能性があり、緩和が必要。
• 実証調査（n=113、19か国から）では、特定された倫理原則の重要性について約80-86%の一致が見られ（特にBias、Privacy、Fairness）。
• Bias (P1)、Privacy (P2)、Fairness (P14) は、回答者の約85-86%によって非常に重要な倫理原則と見なされている。
• Manipulation (P7) は、Bias、Privacy、Fairnessよりも重要性が低いと見なされており、約72%。
• ISMは倫理原則間の相互依存性を示す5レベル構造を明らかにし、MICMACは倫理統合のクラスタベースの意思決定見解を支援する。

Figure 2: Mapping of motivators and demotivators against research ethics