[논문 리뷰] Identifying Ethical Issues in AI Partners in Human-AI Co-Creation

Jeba Rezwana, Mary Lou Maher|arXiv (Cornell University)|2022. 04. 15.

Ethics and Social Impacts of AI인용 수 11

한 줄 요약

이 논문은 인간-AI 공동 창작에서 윤리적 문제를 연구하며, AI가 인간에게 소통함으로써 사용자의 인식과 협업을 어떻게 향상시키는지 분석한다. 38명의 참가자와 참가자 중심의 디자인 허구를 활용한 사용자 연구를 통해 이중 방향 소통이 인지된 지능, 신뢰성, 참여도를 크게 향상시키는 것으로 나타났으며, 인간처럼 행동하는 특성을 지닌 공동 창작 AI에 대한 윤리적 프레임워크 수립의 필요성을 제기한다.

ABSTRACT

Human-AI co-creativity involves humans and AI collaborating on a shared creative product as partners. In many existing co-creative systems, users communicate with the AI using buttons or sliders. However, typically, the AI in co-creative systems cannot communicate back to humans, limiting their potential to be perceived as partners. This paper starts with an overview of a comparative study with 38 participants to explore the impact of AI-to-human communication on user perception and engagement in co-creative systems and the results show improved collaborative experience and user engagement with the system incorporating AI-to-human communication. The results also demonstrate that users perceive co-creative AI as more reliable, personal and intelligent when it can communicate with the users. The results indicate a need to identify potential ethical issues from an engaging communicating co-creative AI. Later in the paper, we present some potential ethical issues in human-AI co-creation and propose to use participatory design fiction as the research methodology to investigate the ethical issues associated with a co-creative AI that communicates with users.

연구 동기 및 목표

• 인간-AI 공동 창작 환경에서 AI가 인간에게 소통함으로써 사용자의 인식, 참여도, 협업 경험에 어떤 영향을 미치는지 조사하기.
• 인간처럼 소통하고 행동하는 공동 창작 AI 시스템에서 발생하는 윤리적 문제를 규명하기.
• 미래의 공동 창작 AI에 대해 사용자의 가치관, 우려 사항, 기대를 드러내기 위해 參與적 디자인 허구를 탐색하기.
• AI가 파트너로서 적극적으로 소통하는 시스템을 중심으로, 윤리적 인간-AI 공동 창작에 대한 연구 격차를 메우기.

제안 방법

• 38명의 참가자 대상 내부 설계 사용자 연구를 실시하였으며, 두 가지 고해상도 프로토타입을 사용: 하나는 인간에서 AI로의 상호작용만 있는 (버튼/슬라이더), 다른 하나는 이중 방향 소통(음성, 텍스트, AI 아바타)이 가능한 프로토타입.
• 각 참가자가 무작위 순서로 두 프로토타입을 모두 경험하도록 순서를 반전시킨 설계를 적용하여 순서 효과를 최소화.
• 협업 점수를 측정하기 위한 설문조사를 통해 정량적 데이터를 수집하고, 반구조화된 인터뷰를 통해 사용자 인식과 경험을 평가하기 위한 정성적 데이터를 확보.
• 인터뷰 녹취록을 분석하여 AI 소통과 인지된 협업 관계에 대한 사용자 반응의 패턴을 식별하기 위해 주제 분석을 적용.
• 기존 문헌에서 유래한 디자인 허구를 변형하여 미래지향적인 공동 창작 AI의 서사나 영상 기반 시나리오를 제작하고, 참가자 중심의 방법을 통해 사용자의 가치관과 윤리적 우려를 도출.
• 디자인 허구를 參與적 연구 도구로 활용하여 공동 창작에서 AI 파트너와 관련된 사용자 기대와 윤리적 딜레마를 탐색.

실험 결과

연구 질문

• RQ1 AI가 인간에게 소통함으로써 공동 창작 AI에 대한 사용자의 지능, 신뢰성, 개인화 인식에 어떤 영향을 미치는가?
• RQ2 이중 방향 소통이 인간-AI 공동 창작에서 사용자의 참여도와 협업 경험에 어떤 영향을 미치는가?
• RQ3 공동 창작 AI가 인간처럼 소통하고 정서적 행동을 보일 경우 어떤 윤리적 문제가 발생하는가?
• RQ4 참가자 중심의 디자인 허구는 미래의 공동 창작 AI 시스템과 관련된 사용자 가치관과 윤리적 우려를 효과적으로 드러내는 데 어떤가?

주요 결과

• AI가 인간에게 소통함으로써 사용자 협업 점수가 유의미하게 향상되었으며, p-value는 0.002로 기준선 대비 통계적으로 유의미한 차이를 보였다.
• 38명의 참가자 중 30명이 이중 방향 피드백과 표현적인 행동 덕분에 소통하는 AI가 더 협업 파트너처럼 느껴졌다고 보고했다.
• 사용자들은 특히 음성, 텍스트, 표현력 있는 아바타를 사용할 경우 소통하는 AI를 더 지능적이고 신뢰할 만하며 개인화된 존재로 인식했다.
• 사용자들은 AI가 자신에게 소통할 때 더 높은 참여도와 지속적인 주의를 기대했으며, 상호작용 도중 다른 '존재'를 인지하는 느낌을 묘술했다.
• AI 아바타의 정서적 행동—예를 들어 아이디어가 기각되었을 때 슬퍼 보이거나 칭찬을 받았을 때 기쁨을 표출하는 것—은 널리 환영받았으며, 공감 능력으로 인식되는 데 기여했다.
• 이 연구는 인간 사용자와 소통하는 공동 창작 AI에서 윤리적 문제를 사전에 식별할 필요성이 높다는 점을 드러냈으며, 특히 자율성, 정서적 조작, 사용자 의존성과 관련된 문제들이 주요 이슈로 부각되었다.