[논문 리뷰] Empathic AI Painter: A Computational Creativity System with Embodied Conversational Interaction

Özge Nilay Yalçın, Nouf Abukhodair외 1명|arXiv (Cornell University)|2020. 05. 28.

Aesthetic Perception and Analysis참고 문헌 14인용 수 8

한 줄 요약

이 논문은 사용자의 빅파이브 성격 특성과 정서 상태를 공감적 대화 상호작용을 통해 추론하고, 두 단계의 AI 파이프라인을 사용하여 개인화된 스타일의 초상화를 생성하는 컴퓨팅 창의성 시스템인 Empathic AI Painter를 제시한다. 첫 번째 단계에서는 신체적 대화 에이전트(M-Path)가 빅파이브 성격 특성 인터뷰를 수행하고, 두 번째 단계에서는 생성형 AI 초상화 시스템이 성격 유형에 기반해 스타일 전이 및 비사진적 렌더링을 적용한다. 시스템은 성격 유형 분류에서 82.51%의 정확도를 달성했으며, 참가자들은 생성된 초상화를 정서적으로 공명감 있게 인식했다.

ABSTRACT

There is a growing recognition that artists use valuable ways to understand and work with cognitive and perceptual mechanisms to convey desired experiences and narrative in their created artworks (DiPaola et al., 2010; Zeki, 2001). This paper documents our attempt to computationally model the creative process of a portrait painter, who relies on understanding human traits (i.e., personality and emotions) to inform their art. Our system includes an empathic conversational interaction component to capture the dominant personality category of the user and a generative AI Portraiture system that uses this categorization to create a personalized stylization of the user's portrait. This paper includes the description of our systems and the real-time interaction results obtained during the demonstration session of the NeurIPS 2019 Conference.

연구 동기 및 목표

• 심리학적 통찰을 바탕으로 성격과 정서를 통합해 AI 기반 예술의 창작 과정을 모델링한다.
• 공감적 실시간 상호작용을 통해 성격 특성을 캐치하는 신체적 대화 에이전트를 개발한다.
• 딥 러닝 기반 스타일화 기법을 사용해 유저의 유추된 성격을 반영한 개인화된 초상화 스타일을 생성한다.
• NeurIPS 2019에서의 라이브 데모를 통해 실세계 환경에서 시스템의 효과성을 평가한다.
• 미학을 넘어서 정서적 및 인지적 일치를 이룰 수 있는 인간 특성과 공명하는 AI 시스템의 잠재력을 탐색한다.

제안 방법

• 시스템은 M-Path 신체적 대화 에이전스를 사용해 웹캠과 마이크를 통해 실시간으로 빅파이브 성격 특성 설문지를 진행한다.
• 응답에 기반해 성격 특성은 열린성, 성실성, 외향성, 우호성, 정서적 안정성의 다섯 차원 중 하나로 분류된다.
• 사전 처리 파이프라인은 배경에서 얼굴을 분할하고 레이먼드트 스타일의 조명을 적용해 얼굴 특징을 강조한다.
• ImageNet 대신 3,000명의 예술가로부터 수집한 16만 개의 레이블이 부여된 예술 작품 데이터로 훈련된 수정된 딥 드림(mDD) 시스템이 예술적 훈련 데이터를 사용해 스타일화된 기반 이미지를 생성한다.
• ePainterly 모듈은 스트로크 엔진 모델링, 입자 시스템, 색상 팔레트 조작 기법을 포함한 비사진적 렌더링(NPR) 기법을 적용해 일관되고 예술적인 스트로크로 초상화를 정교화한다.
• 최종 초상화는 mDD 출력과 NPR 기법을 반복적으로 융합하여 생성되며, 평가를 위해 온라인 갤러리에 게시된다.

실험 결과

연구 질문

• RQ1 공감적 대화 상호작용을 통해 실시간으로 성격 특성을 효과적으로 추론할 수 있는가?
• RQ2 생성형 AI 시스템이 추론된 성격 유형을 기반으로 초상화에서 구분 가능한 예술 스타일로 정확히 매핑할 수 있는가?
• RQ3 사용자들이 생성된 초상화를 얼마나 정서적이고 개인적으로 자신의 특성과 공명하는 것으로 인식하는가?
• RQ4 두 단계의 AI 파이프라인(성격 추론 → 스타일 전이)이 미학적으로 통합되고 개인화된 초상화를 생성할 수 있는가?
• RQ5 인지적 및 지각적 메커니즘이 AI 생성 예술이 개인적으로 공명감 있게 느껴지도록 하는 데 어떤 역할을 하는가?

주요 결과

• M-Path 대화 에이전트는 음성 인식 정확도 84.72%와 빅파이브 성격 특성 유형 정확도 82.51%를 달성했다.
• 전체 상호작용을 완료한 26명의 참가자 중 17개의 고유한 성격 유형이 확인되어 성격 스펙트럼의 광범위한 커버리지가 확인되었다.
• 참가자들은 자주 고해상도 버전의 초상화를 요청했으며, 이는 강력한 개인적 관련성과 정서적 공명을 느꼈음을 시사한다.
• mDD 및 ePainterly 모듈의 통합을 통해 노이즈 아티팩트가 감소하고 스트로크 군집화가 향상된 초상화가 성공적으로 생성되었다.
• NeurIPS 2019에서 전문 관찰자들은 초상화가 참가자의 인식된 성격을 반영하고 있다고 보고했지만, 이 피드백은 제어된 연구에서 검증이 필요하다.
• 16만 개의 레이블이 부여된 67GB의 맞춤형 데이터셋을 활용함으로써 표준 ImageNet 기반 모델보다 더 정교한 예술적 스타일 전이가 가능했다.