[논문 리뷰] Aesthetics of Neural Network Art

Aaron Hertzmann|arXiv (Cornell University)|2019. 03. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 8

한 줄 요약

이 논문은 신경망 예술이 자연 이미지에서 학습된 모델을 활용해 현실적인 시각적 단서의 비정상적인 조합을 만들어내며 미적 매력을 얻는다고 제안한다. GAN, DeepDream, 신경망 스타일 전이를 분석함으로써, 익숙한 이미지 구조 내에서의 지각적 신선함이 예술적 관심을 유도한다는 것을 입증한다.

ABSTRACT

This paper proposes a way to understand neural network artworks as juxtapositions of natural image cues. It is hypothesized that images with unusual combinations of realistic visual cues are interesting, and, neural models trained to model natural images are well-suited to creating interesting images. Art using neural models produces new images similar to those of natural images, but with weird and intriguing variations. This analysis is applied to neural art based on Generative Adversarial Networks, image stylization, Deep Dreams, and Perception Engines.

연구 동기 및 목표

• 신경망 기반 예술의 배경이 되는 미적 원리를 이해하기 위해.
• 어떤 신경망 출력물이 시각적으로 매력적이거나 예술적으로 인식되는지 조사하기 위해.
• 특히 현실적인 특징의 비정상적인 조합이 포함된 지각적 단서가 예술적 매력 생성에 어떤 역할을 하는지 규명하기 위해.
• 신경망 이미지 생성 기법을 인간의 시각적 관심과 새로운 느낌에 대한 지각과 연결하기 위해.
• 다양한 신경망 예술 방법을 시각적 단서의 대조라는 공통 프레임워크로 통합하기 위해.

제안 방법

• 이미지 생성을 지각적 특징의 조작으로 간주하며, 자연 이미지의 단서 조합으로서 신경망 예술을 분석한다.
• 자연 이미지로 훈련된 모델(예: GAN, 오토에인코더)을 사용해 비정상적인 단서 조합을 가진 이미지를 생성한다.
• 다양한 기법에 이 프레임워크를 적용한다: 생성적 적대 기반 네트워크(GANs), DeepDream, 신경망 스타일 전이, 인지 엔진.
• 명시적 손실 함수가 아닌, 단서 조합의 지각적 분석을 통해 예술적 품질을 평가한다.
• 이미지 출력물의 신선함과 시각적 관심도를 평가하기 위해 정성적이고 지각 기반 평가에 의존한다.
• 생성 과정을 시각적 단서의 공간에서의 탐색으로 프레임화하며, 예술적 효과를 위해 드문 또는 상충하는 조합을 선호한다.

실험 결과

연구 질문

• RQ1 자연 이미지 사전 지식에 기반하면서도 신경망 기반 이미지가 왜 미적으로 매력적으로 느껴지는가?
• RQ2 비정상적인 현실적인 시각적 단서의 조합이 예술적 관심으로 인식되는 데 어떻게 기여하는가?
• RQ3 다양한 신경망 예술 기법들이 한 가지 지각적 프레임워크로 통합될 수 있는 정도는 어느 정도인가?
• RQ4 자연 이미지로 훈련된 모델이 왜 이상하거나 매력적으로 느껴지는 이미지를 생성하는가?
• RQ5 지각적 단서가 딥러닝 기반 예술의 예술적 평가에 어떤 역할을 하는가?

주요 결과

• 신경망 예술은 현실적인 시각적 단서를 비정상적이거나 상충하는 방식으로 대조함으로써 예술적 매력을 달성한다.
• 자연 이미지로 훈련된 모델은 본질적으로 자연스러운 이미지 구조를 학습하며, 이를 조작함으로써 새로운, 매력적인 변형을 생성할 수 있다.
• DeepDream, GAN, 신경망 스타일 전이와 같은 기법들은 모두 이 메커니즘을 활용하여 지각적 단서를 예측할 수 없는 방식으로 강조하거나 재조합한다.
• 결과적으로 생성된 이미지는 무작위가 아니라 구조적 일관성을 유지하므로, 이상하거나 꿈같은 느낌이 들면서도 시각적으로 매력적이다.
• 예술품의 매력은 무작위성이나 복잡성 때문이 아니라, 단서의 일치하지 않는 조합이나 과장으로 인한 지각적 신선함 때문이지 않다.
• 이 프레임워크는 단서 기반의 시각적 놀라움이라는 공통 메커니즘과 연결함으로써 다양한 신경망 예술 기법의 성공을 설명한다.