[논문 리뷰] Active Divergence with Generative Deep Learning -- A Survey and Taxonomy

Terence Broad, Sebastian Berns외 2명|arXiv (Cornell University)|2021. 07. 12.

Artificial Intelligence in Games참고 문헌 52인용 수 6

한 줄 요약

이 논문은 생성적 딥러닝에서의 능동적 분리 기법에 대한 종합적인 서베이와 분류 체계를 제시한다. 주로 훈련 데이터를 단순히 재현하는 것이 아니라 창의적으로 이를 벗어나는 데 초점을 맞춘 기법들을 다룬다. 모델 조작, 잠재공간 최적화, 외부 지식 통합 등의 핵심 전략을 식별하고, 데이터 피팅을 넘어서 자율적이고 창의적인 AI 시스템을 발전시키기 위한 향후 연구 방향을 제시한다.

ABSTRACT

Generative deep learning systems offer powerful tools for artefact generation, given their ability to model distributions of data and generate high-fidelity results. In the context of computational creativity, however, a major shortcoming is that they are unable to explicitly diverge from the training data in creative ways and are limited to fitting the target data distribution. To address these limitations, there have been a growing number of approaches for optimising, hacking and rewriting these models in order to actively diverge from the training data. We present a taxonomy and comprehensive survey of the state of the art of active divergence techniques, highlighting the potential for computational creativity researchers to advance these methods and use deep generative models in truly creative systems.

연구 동기 및 목표

• 생성적 딥러닝 모델이 훈련 데이터 분포에서 창의적으로 벗어나는 데에 한계가 있음을 해결하기 위해.
• 모델을 능동적으로 조작하여 기존 데이터에 기반하지 않은 새로운 예술적 산물(artefacts)을 생성하는 데에 초점을 맞춘 최근 기법들을 서베이하고 분류하기 위해.
• 자율적이고 창의적인 생성 시스템을 발전시키기 위한 핵심 연구 격차와 향후 방향을 규명하기 위해.
• 데이터 피팅을 넘어서 창의성 지원 도구와 계산 창의성에 기여하기 위해, 시스템이 데이터 피팅을 넘어서도록 지원하기 위해.
• 의미 있는 분리( divergence )를 촉진하는 새로운 평가 지표와 목적 함수를 주장하기 위해.

제안 방법

• 계산 창의성, 예술, 인공지능 연구 분야에서의 능동적 분리 기법에 대한 분류 체계를 수립한다.
• 네트워크 비틀기, 잠재공간 최적화, 모델 재작성 등의 카테고리로 기법을 분류한다.
• VAE, GAN, 플로우 기반 모델 등을 포함한 조건부 및 비조건부 생성 모델의 분리 잠재력에 대해 분석한다.
• 외부 지식 소스와 상징적 표현을 활용하여 창의적인 모델 조작을 안내하는 방법을 탐색한다.
• 다중 에이전트 시스템과 개방형 강화 학습을 자율적 창의적 행동을 위한 프레임워크로 제안한다.
• 데이터 수집과 의미적 특징 조작을 통해 시스템 의도를 수립하고 실현하는 개념을 도입한다.

실험 결과

연구 질문

• RQ1 생성적 딥러닝 모델을 어떻게 능동적으로 조작하여 훈련 데이터에 존재하지 않는 의미 있는 분리된 예술적 산물을 생성할 수 있는가?
• RQ2 다양한 연구 분야에서 능동적 분리 기법의 핵심 기술적 및 개념적 카테고리들은 무엇인가?
• RQ3 외부 지식과 의미 관계는 창의적인 모델 수정을 어떻게 안내할 수 있는가?
• RQ4 다중 에이전트 시스템과 강화 학습은 자율적 창의적 분리를 어떻게 가능하게 하는가?
• RQ5 분리된 생성물의 품질과 신규성 평가를 위해 필요한 새로운 평가 지표와 목적 함수는 무엇인가?

주요 결과

• 네트워크 비틀기와 잠재공간 최적화와 같은 능동적 분리 기법은 훈련 데이터에 존재하지 않는 새로운 예술적 산물을 생성하는 데 기여한다.
• pix2pix와 같은 조건부 생성 모델은 이미지 번역 작업에서 입력-출력 매핑을 통해 통제된 분리를 가능하게 한다.
• 모델 재작성과 아키텍처 조작은 서로 다른 클래스의 특징을 융합한 하이브리드 또는 개념적으로 혼합된 출력물을 생성할 수 있다.
• 외부 지식 통합은 인간이 수작업으로 조작하는 것 이상의 영향력을 갖는 더 유연하고 의미 기반의 창의적 제어를 가능하게 한다.
• 다중 에이전트 시스템과 개방형 강화 학습은 자율적 창의적 행동의 길을 열어주지만, 아직 초기 단계에 머물러 있다.
• 표준화된 평가 지표의 부재는 능동적 분리 기법의 발전과 벤치마킹을 방해하는 주요 장애물로 남아 있다.