[论文解读] Identifying Ethical Issues in AI Partners in Human-AI Co-Creation

Jeba Rezwana, Mary Lou Maher|arXiv (Cornell University)|Apr 15, 2022

Ethics and Social Impacts of AI被引用 11

一句话总结

本文通過研究AI至人類的溝通如何提升使用者的感知與合作，探討人類-AI共同創作中的倫理問題。基於38名參與者的使用者研究與參與式設計小說，研究發現雙向溝通顯著提升感知智力、可靠度與參與度，凸顯出具有人類特質的共同創作AI需建立倫理框架的必要性。

ABSTRACT

Human-AI co-creativity involves humans and AI collaborating on a shared creative product as partners. In many existing co-creative systems, users communicate with the AI using buttons or sliders. However, typically, the AI in co-creative systems cannot communicate back to humans, limiting their potential to be perceived as partners. This paper starts with an overview of a comparative study with 38 participants to explore the impact of AI-to-human communication on user perception and engagement in co-creative systems and the results show improved collaborative experience and user engagement with the system incorporating AI-to-human communication. The results also demonstrate that users perceive co-creative AI as more reliable, personal and intelligent when it can communicate with the users. The results indicate a need to identify potential ethical issues from an engaging communicating co-creative AI. Later in the paper, we present some potential ethical issues in human-AI co-creation and propose to use participatory design fiction as the research methodology to investigate the ethical issues associated with a co-creative AI that communicates with users.

研究动机与目标

• 探討AI至人類溝通如何影響人類-AI共同創作中使用者對智能、可靠度與個人化的感知、參與度與合作經驗。
• 識別具備人類溝通與行為特質的共同創作AI系統所引發的倫理問題。
• 探討參與式設計小說作為一種方法，以揭露使用者對未來共同創作AI的價值觀、顧慮與期待。
• 透過聚焦於AI主動以夥伴身分溝通的系統，彌補現有關於倫理人類-AI共同創作研究的缺口。

提出的方法

• 進行一項受試者內的使用者研究，包含38名參與者，使用兩個高保真度原型：一個僅具備人類至AI互動（按鈕/滑桿），另一個具備雙向溝通（語音、文字與AI虛擬化身）。
• 採用反覆平衡設計，每位參與者以隨機順序體驗兩個原型，以減少順序效應。
• 透過問卷收集量化數據以衡量合作分數，並透過半結構化訪談收集質性數據，以評估使用者的感知與經驗。
• 對訪談逐字稿進行主題分析，以識別使用者對AI溝通與感知合作關係的回應模式。
• 根據文獻中既有的設計小說，調整並創造未來共同創作AI的敘事或影片情境，運用參與式方法以引出使用者的價值觀與倫理顧慮。
• 將設計小說作為參與式研究工具，探討使用者對共同創作中AI夥伴的期待與相關倫理困境。

实验结果

研究问题

• RQ1 AI至人類溝通如何影響使用者對共同創作AI在智能、可靠度與個人化方面的感知？
• RQ2 雙向溝通對人類-AI共同創作中使用者參與度與合作經驗有何影響？
• RQ3 當共同創作AI展現類似人類的溝通與情感行為時，會出現哪些倫理問題？
• RQ4 參與式設計小說如何有效揭露與未來共同創作AI系統相關的使用者價值觀與倫理顧慮？

主要发现

• AI至人類溝通的出現顯著提升使用者合作分數，p值為0.002，顯示與基線相比具有統計顯著差異。
• 38位參與者中有30位表示，由於雙向反饋與表達性行為，具溝通能力的AI讓人感覺更像合作夥伴。
• 參與者認為具溝通能力的AI更具智能、可靠與個人化，特別是在使用語音、文字與具表達力的虛擬化身時。
• 當AI與使用者溝通時，使用者報告參與度更高且注意力更持久，並描述在互動中感受到另一個「存在」的意識。
• AI虛擬化身的情感行為——例如在想法被拒絕時顯得難過，或在受到讚揚時顯得高興——廣受好評，並促進了感知到的同理心。
• 本研究揭示出必須主動識別具溝通能力的共同創作AI所帶來的倫理問題，特別是自主性、情感操控與使用者依賴等議題。