[논문 리뷰] Automating Generative Deep Learning for Artistic Purposes: Challenges and Opportunities

Sebastian Berns, Terence Broad외 2명|University of the Arts London Research Online (University of the Arts London)|2021. 07. 05.

Aesthetic Perception and Analysis참고 문헌 51인용 수 4

한 줄 요약

이 논문은 예술적 응용 분야에서 생성적 딥러닝을 자동화하기 위한 통합 프레임워크를 제안한다. 이는 자동화된 기계학습(AutoML) 원칙과 계산적 창의성 이론을 융합함으로써 창의적 책임(예: 아키텍처 선택, 손실 함수 설계, 모델 미세조정 등)을 자동화 대상으로 삼아, 사용자와의 공창적 상호작용을 통해 생성 시스템의 창의적 자율성을 향상시킨다.

ABSTRACT

We present a framework for automating generative deep learning with a specific focus on artistic applications. The framework provides opportunities to hand over creative responsibilities to a generative system as targets for automation. For the definition of targets, we adopt core concepts from automated machine learning and an analysis of generative deep learning pipelines, both in standard and artistic settings. To motivate the framework, we argue that automation aligns well with the goal of increasing the creative responsibility of a generative system, a central theme in computational creativity research. We understand automation as the challenge of granting a generative system more creative autonomy, by framing the interaction between the user and the system as a co-creative process. The development of the framework is informed by our analysis of the relationship between automation and creative autonomy. An illustrative example shows how the framework can give inspiration and guidance in the process of handing over creative responsibility.

연구 동기 및 목표

• 생성적 딥러닝, 특히 예술적 맥락에서의 통합 자동화 프레임워크 부족 문제를 해결하기 위해.
• 자동화를 기술적 효율성 초월해, 시스템에 창의적 책임을 부여하는 길로 재정의하기 위해.
• 시스템 자율성을 높이기 위해 자동화할 수 있는 생성 DL 파이프라인의 핵심 의사결정 포인트를 식별하고 표준화하기 위해.
• AutoML와 계산적 창의성 간 격차를 해소하기 위해, 자동화 대상과 예술적 생성에서의 창의적 의사결정을 정렬하기 위해.
• 향후 자동화된 공창적 생성 AI 시스템 분야의 연구 및 응용을 위한 체계적이고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 생성 모델에 대해 자동화된 기계학습(AutoML)의 核심 개념, 특히 신경망 아키텍처 탐색(NAS)과 하이퍼파rameter 최적화를 적용하기 위해.
• 예술적 생성 DL 파이프라인을 매핑하여, 모델 아키텍처, 손실 함수, 학습 하이퍼파rameter 등 자동화에 적합한 의사결정 포인트를 식별하기 위해.
• 계산적 창의성(Creative) 이론을 통합하여 '창의적 책임'을 자동화의 대상으로 정의하고, 사용자-시스템 상호작용을 공창적 관계로 프레임하기 위해.
• 생성기, 손실 함수, 학습 목표에 대한 자동 조정을 통해 시스템이 약한 자율성에서 강한 자율성으로 진화하는 다수준 자동화 모델을 제안하기 위해.
• 새로 자동화된 창의적 행동을 평가하고 분류하기 위해 FACE 모델(Framework for the Analysis of Creative Events)을 사용하기 위해.
• 사용자에서 시스템으로 창의적 통제를 점진적으로 이관할 수 있도록 하는 예시를 설계하여, 자가 반성 및 자가 제어 메커니즘을 포함하기 위해.

실험 결과

연구 질문

• RQ1 예술적 응용 분야에서 생성적 딥러닝 파이프라인을 체계적으로 자동화하여 AI 시스템의 창의적 자율성을 어떻게 높일 수 있는가?
• RQ2 예술적 맥락에서 생성 DL 파이프라인의 특정 의사결정 책임 중 자동화에 가장 적합한 것은 무엇인가?
• RQ3 창의적 책임 자동화가 계산적 창의성 및 메타창의성 이론적 기초와 어떻게 일치하는가?
• RQ4 자동화된 의사결정을 통해 생성 시스템이 어떻게 점차적으로 자율성과 자각 능력을 향상시킬 수 있는가?
• RQ5 체계적인 자동화를 통해 인간 사용자와 자동화된 생성 시스템 간의 공창적 상호작용을 어떻게 유지하고 강화할 수 있는가?

주요 결과

• 논문은 중요한 격차를 규명한다: AutoML는 분류 모델에 대해 발전했지만, 생성적 딥러닝 자동화, 특히 예술적 목적을 위한 자동화는 여전히 미비한 상태이다.
• 예술적 생성 DL 응용은 데이터 분포의 정확성보다 문화적 가치와 미학적 신선함을 우선시하므로, 표준 ML 파이프라인과는 다름없는 자동화 대상이 필요하다.
• 손실 함수 설계, 모델 아키텍처 선택, 학습 목표 튜닝과 같은 창의적 책임 자동화가 시스템이 더 강력한 형태의 창의적 자율성을 나타내도록 한다.
• 백프로파게이션과 자가 반성 덕분에 시스템은 생성기 인식을 달성할 수 있고, 출력 평가에 기반해 손실 함수를 자동으로 수정함으로써 목표 인식을 확보할 수 있다.
• 이 프레임워크는 낮은 수준의 자율성(파arameter 업데이트)에서 강한 자율성(아키텍처 및 목표 자동화)에 이르는 창의적 자율성 스펙트럼을 지원하며, 새로운 형태의 인간-AI 공창을 가능하게 한다.
• FACE 모델은 자동화를 통해 도입된 새로운 창의적 행동을 식별하고 분류할 수 있는 실용적인 평가 메커니즘을 제공하며, 이 프레임워크가 창의적 책임에 미치는 영향을 검증한다.