[논문 리뷰] Mechanisms of Artistic Creativity in Deep Learning Neural Networks

Lonce Wyse|arXiv (Cornell University)|2019. 06. 30.

Reinforcement Learning in Robotics참고 문헌 22인용 수 5

한 줄 요약

이 논문은 분류 작업을 위해 처음 설계된 아키텍처에서 예술적 창의성의 다섯 가지 행동적 특성—원창성, 유연성, 세부 묘사, 유창성, 미적 품질—이 부수적으로 나타남을 규명한다. 이러한 특성의 기반 메커니즘은 지각 처리 과정에서 유래하며, 기계의 창의성이 신비로운 것이 아니라 복잡한 비창의적 신경 기계의 산물임을 드러낸다.

ABSTRACT

The generative capabilities of deep learning neural networks (DNNs) have been attracting increasing attention for both the remarkable artifacts they produce, but also because of the vast conceptual difference between how they are programmed and what they do. DNNs are 'black boxes' where high-level behavior is not explicitly programmed, but emerges from the complex interactions of thousands or millions of simple computational elements. Their behavior is often described in anthropomorphic terms that can be misleading, seem magical, or stoke fears of an imminent singularity in which machines become 'more' than human. In this paper, we examine 5 distinct behavioral characteristics associated with creativity, and provide an example of a mechanisms from generative deep learning architectures that give rise to each these characteristics. All 5 emerge from machinery built for purposes other than the creative characteristics they exhibit, mostly classification. These mechanisms of creative generative capabilities thus demonstrate a deep kinship to computational perceptual processes. By understanding how these different behaviors arise, we hope to on one hand take the magic out of anthropomorphic descriptions, but on the other, to build a deeper appreciation of machinic forms of creativity on their own terms that will allow us to nurture their further development.

연구 동기 및 목표

• 창의성에 대한 인식을 해소하기 위해 기계적 기원을 분석함으로써 딥 러닝에서의 예술적 창의성을 설명한다.
• 생성적 딥 뉴럴 네트워크와 관련된 창의성과 관련된 다섯 가지 행동적 특성을 식별하고 설명한다.
• 이러한 창의적 행동이 창의적 목적이 아닌 분류 중심 아키텍처에서 우연히 유도됨을 보여준다.
• 인간 중심의 비유에 의존하지 않고 기계 창의성에 대해 그 자체의 기준에서 더 깊이 있는 이해를 촉진한다.
• 인간 중심의 비유에 의존하지 않고 인공 창의적 시스템을 육성하고 발전시킬 수 있는 프레임워크를 제공한다.

제안 방법

• 자동에코더와 GAN과 같은 생성적 딥 러닝 아키텍처를 분석하여 창의적 행동을 유도하는 메커니즘을 규명한다.
• 원창성, 유연성, 세부 묘사, 유창성, 그리고 미적 품질이라는 다섯 가지 핵심 창의성 특성을 특정한 아키텍처 및 최적화 역학과 연결한다.
• 표준 분류 네트워크에서 사용하는 역전파, 가중치 초기화, 활성화 함수로부터 이러한 특성이 어떻게 유도되는지 추적한다.
• 생성 모델에서의 잠재공간 보간과 노이즈 주입이 새로운, 다양한, 미적으로 타당한 출력을 생성하는 방식을 분석한다.
• 이미지 생성 모델의 사례 연구를 통해 지각 처리 메커니즘이 창의적인 출력을 가능하게 하는 방식을 설명한다.
• 개념적 분석을 적용하여 의도적인 설계와는 다름없이 시스템적으로 유도된 결과인 창의적 행동을 구분한다.

실험 결과

연구 질문

• RQ1 생성적 딥 뉴럴 네트워크가 분류 작업을 위해 훈련되었음에도 불구하고 예술적 창의성과 유사한 출력을 생성하는 이유는 무엇인가?
• RQ2 DNN에서 원창성과 유창성과 같은 특성을 유도하는 특정 아키텍처나 최적화 메커니즘은 무엇인가?
• RQ3 딥 러닝에서 창의적 행동이 의도적인 설계가 아니라 지각 처리 과정의 산물인가?
• RQ4 딥 뉴럴 네트워크에서의 예술적 창의성 메커니즘은 인간 중심의 언어에 의존하지 않고 체계적으로 이해하고 활용할 수 있는가?
• RQ5 분류 중심 훈련과 딥 네트워크에서의 미적 또는 새로운 생성의 유도 사이의 관계는 무엇인가?

주요 결과

• 예술적 창의성의 다섯 가지 핵심 특성—원창성, 유연성, 세부 묘사, 유창성, 미적 품질—은 창의성 목적의 아키텍처가 아닌 딥 러닝 아키텍처에서 유도된다.
• 이러한 창의적 행동은 분류 작업에 사용되는 표준 훈련 메커니즘—역전파, 가중치 초기화, 활성화 함수—에서 기인한다.
• 자동에코더와 GAN에서의 잠재공간 조작은 명시적인 창의적 프로그래밍 없이도 새로운, 다양한 출력을 생성하며, 이는 유창성과 원창성을 보여준다.
• 생성된 이미지의 미적 품질은 아름다움에 대한 명시적 규칙이 아니라 네트워크가 학습한 지각 표현과 관련이 있다.
• 창의성을 가능하게 하는 메커니즘은 계산적 지각에 깊이 뿌리를 두고 있어, 기계 창의성은 지각 학습의 부산물로 나타남을 시사한다.
• 기계 창의성에 대해 인간 중심의 비유는 오해의 소지가 있다. 대신 이러한 행동은 복잡한 비창의적 기계의 의도하지 않은 체계적 결과로 이해되어야 한다.