[논문 리뷰] Deep Convolutional Networks as Models of Generalization and Blending Within Visual Creativity

Graeme McCaig, Steve DiPaola외 1명|arXiv (Cornell University)|2016. 10. 08.

Aesthetic Perception and Analysis참고 문헌 33인용 수 19

한 줄 요약

이 논문은 깊이 학습 기반 이미지 생성 알고리즘 두 가지—Gatys 등 (2015)과 Mordvintsev 등 (2015)—를 분석하며, 이는 심층 합성곱 신경망을 통해 콘텐츠 및 스타일 특징을 융합하는 방식이다. 이 모델들은 인간의 창의적 과정, 특히 개념 융합과 정련 과정의 계산적 유사체로 위치지어지며, 특징 수준의 일반화 및 융합을 통해 새로운, 미적 가치가 있는 이미지를 생성할 수 있음을 보여준다.

ABSTRACT

We examine two recent artificial intelligence (AI) based deep learning algorithms for visual blending in convolutional neural networks (Mordvintsev et al. 2015, Gatys et al. 2015). To investigate the potential value of these algorithms as tools for computational creativity research, we explain and schematize the essential aspects of the algorithms' operation and give visual examples of their output. We discuss the relationship of the two algorithms to human cognitive science theories of creativity such as conceptual blending theory and honing theory, and characterize the algorithms with respect to generation of novelty and aesthetic quality.

연구 동기 및 목표

• 심층 합성곱 신경망(DCNNs)이 인간과 유사한 일반화 및 융합 과정을 어떻게 모델링할 수 있는지 조사하기 위해.
• DCNN 기반 이미지 생성 알고리즘의 잠재적 역할을 계산적 창의성 연구 도구로 평가하기 위해.
• 이러한 알고리즘의 출력물이 창의성에 대한 인지 이론과 관련하여 얼마나 새로운지 및 미적 품질이 있는지 평가하기 위해.
• 알고리즘의 행동이 인간 인지에서의 개념 융합 이론과 정련 이론과 얼마나 부합하는지 탐구하기 위해.

제안 방법

• 논문은 두 가지 유명한 DCNN 기반 이미지 생성 방법—Gatys 등 (2015)의 신경 스타일 전이와 Mordvintsev 등 (2015)의 신경 이미지 합성—의 아키텍처와 최적화 과정을 분석한다.
• 두 알고리즘이 사전 훈련된 합성곱 네트워크(VGG 등)의 특징 표현을 사용하여 콘텐츠와 스타일 정보를 분리하고 재결합하는 방식을 분석한다.
• 최적화 과정은 특정 레이어의 활성화를 기반으로 한 콘텐츠 손실과 특징 맵의 그램 행렬을 기반으로 한 스타일 손실을 조합한 손실 함수를 최소화하는 방식이다.
• 저자는 알고리즘의 내부 동작을 설명하기 위해 시각적 예시와 개략도를 사용하며, 특징 수준의 융합과 일반화에 중점을 둔다.
• 이들은 알고리즘의 행동을 인지과학의 이론적 프레임워크, 특히 개념 융합 이론과 정련 이론과 비교 분석한다.
• 분석은 창의적 작업에 명시적인 훈련 없이도 나타나는 모델의 잠재적 성질, 예를 들어 새로운 조합의 생성과 시각적 통일성 등에 집중한다.

실험 결과

연구 질문

• RQ1 심층 합성곱 네트워크가 인간의 시각 창의성에서 관찰되는 일반화 및 융합 과정을 어느 정도 모델링하는가?
• RQ2 신경 스타일 전이와 신경 이미지 합성의 아키텍처 및 최적화 메커니즘이 인지과학에서의 개념 융합 이론과 어떻게 부합하는가?
• RQ3 생성된 이미지의 미적 품질과 DCNN 내부의 기초적 특징 표현 간의 관계는 무엇인가?
• RQ4 이러한 모델이 새로운 이미지 구성의 생성을 통해 계산적 창의성의 한 형태로 간주될 수 있는가?
• RQ5 이 알고리즘들은 특징 수준의 최적화를 통해 어떻게 콘텐츠 유지와 스타일 전이를 동시에 달성하는가?

주요 결과

• Gatys 등 (2015)과 Mordvintsev 등 (2015)의 두 알고리즘은 심층 특징 최적화를 통해 콘텐츠와 스타일을 융합하여 새로운, 시각적으로 일관된 이미지를 생성한다.
• 모델들은 훈련 데이터의 직접적인 복제가 아닌, 구조적 요소와 스타일적 요소의 새로운 조합을 만드는 일반화 능력을 보여준다.
• 생성된 이미지들은 시각적 풍부함과 지각적 통일성을 지녀, 심층 특징 공간이 의미 있는 창의적 융합을 지원함을 시사한다.
• 두 모델의 최적화 과정은 '정련' 과정과 부합한다—피드백을 통해 원하는 결과로 표현을 점진적으로 개선하는 과정이다.
• 모델의 행동은 서로 다른 표현(콘텐츠 및 스타일)의 요소가 새로운 통합된 전체로 융합되는 개념 융합의 핵심 요소를 반영한다.
• 이 연구는 DCNNs가 인식 작업을 위해 훈련되었음에도 불구하고, 시각 분야에서 인간과 유사한 창의적 융합과 일반화를 효과적으로 계산 모델로 활용할 수 있음을 입증한다.