[논문 리뷰] Nine Potential Pitfalls when Designing Human-AI Co-Creative Systems

Daniel Buschek, Lukas Mecke외 2명|arXiv (Cornell University)|2021. 04. 01.

Data Visualization and Analytics참고 문헌 30인용 수 18

한 줄 요약

이 논문은 인지과학 및 인공지능 연구를 바탕으로 생성형 AI를 사용한 인간-AI 공동창작 시스템 설계 시 9가지 핵심적 함정을 규명한다. '은폐된 AI 경계', 표현력이 떨어지는 상호작용, 알고리즘 편향 등의 문제를 해결하기 위한 실행 가능한 설계 전략을 제안하며, 창작 실천 및 그 외 분야에서 더 윤리적이고 효과적이며 사용자 중심의 공동창작 도구를 이끌어내는 데 목적이 있다.

ABSTRACT

This position paper examines potential pitfalls on the way towards achieving human-AI co-creation with generative models in a way that is beneficial to the users' interests. In particular, we collected a set of nine potential pitfalls, based on the literature and our own experiences as researchers working at the intersection of HCI and AI. We illustrate each pitfall with examples and suggest ideas for addressing it. Reflecting on all pitfalls, we discuss and conclude with implications for future research directions. With this collection, we hope to contribute to a critical and constructive discussion on the roles of humans and AI in co-creative interactions, with an eye on related assumptions and potential side-effects for creative practices and beyond.

연구 동기 및 목표

• 생성형 AI 모델을 활용한 인간-AI 공동창작 시스템에서의 잠재적 설계 함정을 규명하고 체계화하는 것.
• 현재 AI의 한계, AI에 대한 과도한 의존, 창작 워크플로우 내 광범위한 체계적 가정으로 인해 발생하는 위험을 부각하는 것.
• 사용자 이익과 창작의 정당성에 초점을 맞춰 인간과 AI의 공동창조에서의 역할에 대한 비판적이고 다학제적 논의를 촉진하는 것.
• 더 투명하고 표현력 있으며 책임감 있는 공동창작 도구를 개발하고자 하는 연구자 및 전문가를 위한 설계 가이드라인과 기초 고려사항을 제공하는 것.
• 사용자 창의성, 신뢰도, 통제력이 손상될 수 있는 문제적 설계 패턴을暴露함으로써 평가 프레임워크를 정보화하는 것.

제안 방법

• 인간-AI 공동창작 상호작용에서 잠재적 문제를 규명하기 위해 사고 실험 및 어두운 패턴 연구에 영향을 받은 질적이고 사고 실험적인 접근을 수행했다.
• 세 가지 프롬프트에 집중: 현재 AI 기능의 한계, 과도한 AI 참여의 위험, 즉각적인 사용 맥락을 넘어서는 체계적 문제.
• 실제 또는 현실적으로 가능한 생성형 AI 응용 사례(예: 이미지 편집, 텍스트 생성 등)에서 유래한 구체적 사례와 함께 각 발견된 함정을 매핑했다.
• 각 함정에 대해 UI/UX 간섭 전략(예: 불확실성 시각화, 피드백 루프 개선)과 AI 수준의 개선 조치(예: 더 나은 분리, 범위 축소)를 포함한 완화 전략을 제안했다.
• 호르비츠의 혼합 주도 원칙과 구즈디얼 및 리드의 공동창작 프레임워크와 같은 기존 프레임워크를 활용해 설계 영향을 맥락화했다.
• 문제적 기초 시스템(예: 너무 많은 AI 참여를 포함한 버전)을 제안하여 비교 평가의 기초를 마련했다.

실험 결과

연구 질문

• RQ1 생성형 AI를 사용한 인간-AI 공동창작 시스템에서 사용자 주도성, 창의성, 신뢰도를 떨어뜨릴 수 있는 주요 설계 함정은 무엇인가?
• RQ2 일반화 능력 부족이나 얽힌 잠재 공간과 같은 현재 AI 능력의 한계가 사용성 및 창의적 장벽으로 어떻게 나타나는가?
• RQ3 과도한 AI 참여가 사용자 인식을 왜곡하거나 표현력을 감소시키거나 알고리즘적 불안을 유발하는 방식은 무엇인가?
• RQ4 숨겨진 편향, 데이터 의존성, 후속 영향과 같은 체계적 문제들이 창작물의 정당성과 평가에 어떤 영향을 미칠 수 있는가?
• RQ5 AI를 공동창작 파트너로 유지하면서 이러한 함정을 효과적으로 완화할 수 있는 설계 전략은 무엇인가?

주요 결과

• 은폐된 AI 경계에서부터 알고리즘 편향, 부적절한 피드백 메커니즘에 이르기까지 9가지의 구체적인 설계 함정이 규명되었으며, 각 함정은 실제 창작 분야의 생성형 AI 응용 사례에서 유래한 실제 사례를 포함하고 있다.
• 많은 함정들이 AI의 한계 외에도 상호작용 설계 및 UI/UX 선택의 열악함에서 기인하며, 더 나은 AI만으로는 핵심적인 사용성 및 윤리적 문제를 해결할 수 없음을 시사한다.
• 논문은 투명하지 못한 AI 행동이나 사용자 통제력의 부재와 같은 문제적 설계 패턴이 사용자 분노, 창의성 감소, 심지어 도구 포기로 이어질 수 있음을 입증한다.
• 저자들은 이러한 함정들이 불확실성 시각화, 피드백 루프 개선, 상호작용의 표현력 향상과 같은 타겟팅된 UI/UX 간섭 조치를 통해 체계적으로 해결될 수 있음을 보여준다.
• 제안된 함정들은 연구자들이 새로운 시스템을 알려진 실패 패턴과 비교하여 의미 있는 개선 여부를 평가할 수 있도록 유용한 기초 기준이 된다.
• 연구는 성공적인 공동창작 시스템이 인간-컴퓨터 상호작용 원칙과 AI 능력을 융합한 다학제적 설계가 필요하며, 투명성, 사용자 통제력, 윤리적 고려사항을 강조해야 한다고 결론 내린다.