[논문 리뷰] CAN: Creative Adversarial Networks, Generating "Art" by Learning About Styles and Deviating from Style Norms

Ahmed Elgammal, Bingchen Liu외 2명|arXiv (Cornell University)|2017. 06. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 223

한 줄 요약

CAN은 GAN 목표를 수정하여 확립된 스타일에서 벗어나면서도 예술 분포에 가까운 상태를 유지함으로써 예술을 생성하고, 인간과 같은 예술적 창의성을 가능하게 한다; 실험 결과 CAN으로 생성된 이미지는 인간에 의해 예술가가 만든 예술과 거의 구별되지 않는 경우가 많다.

ABSTRACT

We propose a new system for generating art. The system generates art by looking at art and learning about style; and becomes creative by increasing the arousal potential of the generated art by deviating from the learned styles. We build over Generative Adversarial Networks (GAN), which have shown the ability to learn to generate novel images simulating a given distribution. We argue that such networks are limited in their ability to generate creative products in their original design. We propose modifications to its objective to make it capable of generating creative art by maximizing deviation from established styles and minimizing deviation from art distribution. We conducted experiments to compare the response of human subjects to the generated art with their response to art created by artists. The results show that human subjects could not distinguish art generated by the proposed system from art generated by contemporary artists and shown in top art fairs. Human subjects even rated the generated images higher on various scales.

연구 동기 및 목표

• 생성 중에 인간의 루프(Human-in-the-loop) 없이 예술 생성을 위한 계산적으로 창의적인 시스템을 연구한다.
• 생성기가 예술 분포 내에 남아 있으면서도 확립된 스타일에서 벗어나 각성 가능성을 높일 수 있도록 한다.
• 예술 공간의 창의적 탐색을 이끄는 각성과 습관화 이론을 도입한다.
• CAN으로 생성된 예술이 인간에게 예술로 인식될 수 있는지 평가하고 작가의 출력 및 기본 GAN 출력과 비교한다.

제안 방법

• 판별기로부터 두 가지 신호(예술 기원 가능도와 스타일 분류 모호성)를 포함하도록 GAN을 확장한다.
• 엔트로피를 극대화하기보다는 균일한 스타일 분포와의 교차 엔트로피를 최소화하여 스타일 모호성 목적을 도입한다.
• CAN 생성기가 실제 예술일 가능성이 높지만 스타일 분류가 최대한 모호한 이미지를 생성하도록 학습한다.
• 판별기는 실제 예술과 가짜 예술을 구분하는 것과 여러 예술 운동 간의 스타일을 분류하는 것을 모두 학습한다.
• 100차원 잠재 입력과 256×256 이미지 출력으로 업샘플링 아키텍처를 갖춘 DCGAN 스타일의 생성기를 사용한다.
• 안정성을 위해 데이터 증강과 배치 정규화를 사용하여 수많은 스타일에 걸친 WikiArt 데이터를 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 CAN이 확립된 스타일에 명확히 맞지 않으면서도 인간이 예술로 인지하는 예술을 생성할 수 있는가?
• RQ2 스타일 모호성 손실을 도입하면 생성된 예술이 스타일 규범에서 벗어나면서도 더 넓은 예술 분포 내에 남아 있는가?
• RQ3 기준 GAN 출력과 비교할 때 인간 평가자에게 CAN으로 생성된 이미지가 선호되거나 인간이 만든 예술과 구별되지 않는가?
• RQ4 스타일 분류 추가가 스타일 분포를 모방하는 데 미치는 영향과 창의성 간의 차이는 무엇인가?
• RQ5 인간이 만든 추상표현주의 또는 Art Basel 작품과 비교했을 때 CAN 생성 이미지의 독창성과 호감도는 어떤가?

주요 결과

• CAN으로 생성된 이미지는 종종 심미적으로 매력적이며 전통적인 장르나 인식 가능한 인물을 닮지 않는다.
• 실험에서 인간은 CAN 생성 예술과 현대 예술가의 예술을 신뢰성 있게 구분하지 못했고 DCGAN 기준선을 능가했다.
• 스타일 모호성을 가진 CAN은 스타일 분류 CAN과 달리 더 새롭게 보이는 이미지를 생성하면서도 예술 분포를 닮아 있다.
• 실험에서 추상표현주의 및 Art Basel 세트는 인간이 예술가가 만든 것으로 식별하기 더 쉬웠고 CAN 출력보다는 더 쉬웠으며, CAN은 GAN 기준선보다 예술가 같은 인식을 더 가깝게 보였다.
• 정량적 실험에서 CAN 생성 이미지는 호감도 평가에서 유리한 점수를 받고 DCGAN 변형과 비교할 때 피험자들이 이를 컴퓨터가 아닌 예술가의 작품으로 해석하는 능력이 감소했다.