[논문 리뷰] Dialog on a canvas with a machine

Vivien Cabannes, Thomas Kerdreux외 3명|arXiv (Cornell University)|2019. 10. 10.

Artificial Intelligence in Games참고 문헌 7인용 수 7

한 줄 요약

이 논문은 인간-기계 창작 대화의 제3의 플레이어로 기능하는 AI 시스템을 활용한 상호작용적이고 신체적 예술 설치를 소개한다. 실시간 영상 촬영, 신경 스케치 생성, 동적 프로젝션을 통해 공동 캔버스에 파란 색상의 새로운 스토리지를 제안한다. 시스템은 변화하는 그림을 분석하고 AI가 생성한 추가 요소를 투영함으로써 공동 창작을 촉진하며, 이는 즉각적인 작품과 장기적인 예술적 스타일에 영향을 미치는 새로운 예술적 결과를 낳는다.

ABSTRACT

We propose a new form of human-machine interaction. It is a pictorial game consisting of interactive rounds of creation between artists and a machine. They repetitively paint one after the other. At its rounds, the computer partially completes the drawing using machine learning algorithms, and projects its additions directly on the canvas, which the artists are free to insert or modify. Alongside fostering creativity, the process is designed to question the growing interaction between humans and machines.

연구 동기 및 목표

• 실시간 시각 창작에 AI를 공동 창작자로 통합한 인간-기계 상호작용 예술 시스템을 설계하는 것.
• AI가 생성한 제안이 인간의 예술적 표현과 창작 의사결정에 어떤 영향을 미치는지 조사하는 것.
• 특정 시각적 표시(파란 선)를 통해 AI의 영향을 명확하고 인지 가능하게 드러내는 것.
• 인간-AI 창작 파트너십에서의 협업, 제약, 영감의 변화하는 역학을 탐구하는 것.
• 실시간으로 변화하는 물리적 그림에 반응하고, 스튜디오 환경에 적합한 견고한 시스템을 개발하는 것.

제안 방법

• 카메라가 실시간으로 물리적 캔버스의 현재 상태를 촬영하여 조명 변화에 대비한 내구성을 확보한다.
• 사전 처리 파이프라인을 통해 촬영된 이미지에서 보이는 선(검정, 빨강, 초록)을 추출하고 인코딩한다.
• 순환 신경망 기반의 신경 스케처가 선의 끊김 채널을 포함한 2차원 점의 시퀀스를 사용해 새로운 선 시퀀스를 생성한다.
• 생성된 선은 후처리를 거쳐 校정된 프로젝터를 사용해 실시간으로 캔버스에 투영된다.
• 시스템은 QuickDraw 데이터셋으로 훈련되었고, 예술가들의 이전 스케치를 담은 비공개 데이터셋으로 추가로 미세조정되어 그들의 시각적 스타일을 재현한다.
• AI의 기여는 빨강과 초록 선과는 구별되는 파란색으로 렌더링되어 인간이 그린 선과 명확히 구분된다.

실험 결과

연구 질문

• RQ1 AI를 제3의 창작 에이전트로 통합함으로써 인간의 예술적 협업 역학은 어떻게 변화하는가?
• RQ2 AI가 생성한 제안이 인간 예술가들이 독립적으로 생각하지 못한 새로운 예술적 방향을 얼마나 유도하는가?
• RQ3 창작 과정에서 예술가들은 AI의 역할을 어떻게 인식하는가—협업 파artner, 제약, 혹은 파괴적 영향으로서?
• RQ4 AI의 간섭은 인간 전용 창작과 비교해 예술작품의 시각적 및 개념적 결과에 어떤 방식으로 영향을 미치는가?
• RQ5 시각적으로 명확한 AI 기여가 있는 실시간이고 신체적 상호작용 시스템은 인간-기계 공동 창작에 대한 깊이 있는 성찰을 어떻게 촉진할 수 있는가?

주요 결과

• 예술가들은 AI가 생성한 선을 놀랍고 영감을 주는 것으로 인식했으며, 이는 스스로가 독립적으로 추구하지 않았을 새로운 창작 방향을 제시했다.
• 예술가들은 AI를 제약이자 마법 같은 존재로 번갈아가며 경험했으며, 이는 일상생활에서 AI의 双중적 성격을 반영한다.
• AI의 영향은 개별 작품을 넘어서, 이후의 인간 중심 작업에서도 예술가들의 장기적인 시각적 스타일을 약간 변화시켰다.
• 시스템은 다양한 조명 조건에서도 시각적 일관성과 내구성을 유지하여 원활한 스튜디오 통합을 가능하게 했다.
• AI 기여를 위한 별도의 파란 선을 사용함으로써 기계적 영향을 명확히 추적할 수 있었으며, 이는 AI의 역할에 대한 투명성과 성찰을 높였다.
• 이 설치는 실시간이고 신체적으로 구현된 AI 상호작용이 AI의 영향을 명확히 드러내고 분석 가능한 방식으로 의미 있는 공동 창작을 지원할 수 있음을 보여주었다.