[논문 리뷰] Unsupervised Learning of Artistic Styles with Archetypal Style Analysis

Daan Wynen, Cordelia Schmid외 1명|arXiv (Cornell University)|2018. 05. 28.

Aesthetic Perception and Analysis인용 수 13

한 줄 요약

이 논문은 예술 작품 컬렉션의 딥 페처에 아키타입 분석을 적용하여 비지도 학습 방식으로 예술 스타일을 탐색하고 요약하며 조작하는 방법을 제안한다. 실제 그림으로 해석 가능한 아키타입 스타일의 희박한 볼록 조합을 학습함으로써, 개선된 초모수 제어를 갖춘 수정된 최적화 기법을 통해 콘텐츠 세부 정보를 유지하면서도 스타일 전이, 향상, 보간을 가능하게 한다.

ABSTRACT

In this paper, we introduce an unsupervised learning approach to automatically discover, summarize, and manipulate artistic styles from large collections of paintings. Our method is based on archetypal analysis, which is an unsupervised learning technique akin to sparse coding with a geometric interpretation. When applied to deep image representations from a collection of artworks, it learns a dictionary of archetypal styles, which can be easily visualized. After training the model, the style of a new image, which is characterized by local statistics of deep visual features, is approximated by a sparse convex combination of archetypes. This enables us to interpret which archetypal styles are present in the input image, and in which proportion. Finally, our approach allows us to manipulate the coefficients of the latent archetypal decomposition, and achieve various special effects such as style enhancement, transfer, and interpolation between multiple archetypes.

연구 동기 및 목표

• 인간 레이블이 없는 대규모 그림 컬렉션에서 자동으로 예술 스타일을 탐색하고 요약하는 것.
• 아키타입 분석을 통해 기하학적으로 의미 있는 예술 스타일 표현을 제공하는 것.
• 계수 조정을 통해 스타일 강화, 전이, 보간과 같은 다양한 스타일 조작을 가능하게 하는 것.
• Li 등 [11]의 유니버설 스타일 전이 접근법을 개선하여 학습 가능한 저차원 잠재 공간의 아키타입 스타일을 도입하는 것.
• 발견된 스타일을 외부 메타데이터(예: 예술 운동, 시대)와 연결하여 이해도를 높이고 더 넓은 활용성을 확보하는 것.

제안 방법

• 예술품 데이터셋에서 추출한 딥 컨volution 페처(사전 훈련된 VGG 네트워크의 활성화 값)에 아키타입 분석을 적용한다.
• 실제 이미지 스타일의 볼록 조합으로서 아키타입 스타일의 사전을 학습하여 시각화 및 해석 가능하게 한다.
• 딥 페처 통계에 대한 최적화를 통해 새로운 이미지의 스타일을 이러한 아키타입의 희박한 볼록 조합으로 표현한다.
• 아키타입 분해 계수를 수정하여 스타일 조작을 수행한다: 강화(계수 증가), 전이(한 아키타입 선택), 보간(여러 아키타입 조합).
• 스타일 전이 중 콘텐츠 유지 향상을 위해 γ와 δ를 매개변수로 갖는 수정된 최적화 업데이트 규칙을 도입하며, γ = δ는 빛나는 시각적 효과를 갖는 히ュ리스틱으로 사용된다.
• 학습된 디코더를 사용해 VGG 페처를 역변환함으로써, 반복적인 화이트닝 및 색상 재설정을 통해 스타일이 적용된 이미지의 재구성 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 아키타입 분석은 대규모이고 정제되지 않은 그림 컬렉션에서 의미 있는 예술적 특징을 지닌 이해 가능한 예술 스타일을 효과적으로 탐색하고 표현할 수 있는가?
• RQ2 클러스터링이나 표준 스타일 전이와 비교해 아키타입 분해는 스타일 조작의 해석 가능성과 유연성을 어떻게 향상시키는가?
• RQ3 γ와 δ를 갖는 제안된 최적화 업데이트 규칙은 이전 방법에 비해 스타일이 적용된 이미지의 콘텐츠 세부 정보 유지에 얼마나 기여하는가?
• RQ4 아키타입 스타일 조작은 훈련 데이터에 직접 존재하지 않는 새로운 의미 있는 예술적 효과를 얼마나 잘 생성할 수 있는가?
• RQ5 아키타입 스타일을 외부 메타데이터(예: 예술 운동, 시대)와 연결함으로써, 시각적 외형을 넘어서 이해도를 높일 수 있는가?

주요 결과

• 이 방법은 의미 있는 예술적 특징을 지닌 이해 가능한 아키타입 스타일을 성공적으로 학습하였으며, 실제 그림으로 시각화할 수 있다.
• 아키타입 분해를 통해 클러스터링보다 더 풍부한 해석이 가능하며, 각 이미지의 스타일이 다수의 아키타입 볼록 조합으로 표현되어 혼합된 스타일적 영향을 드러낸다.
• γ와 δ를 갖는 수정된 최적화 업데이트 규칙은 Li 등 [11]의 기준 방법에 비해 스타일이 적용된 이미지의 콘텐츠 세부 정보 유지에 뚜렷한 향상을 이룬다.
• 히ュ리스틱 γ = δ는 자유 매개변수 수를 하나로 줄여 제어를 단순화하면서도 높은 시각적 품질을 유지한다.
• 계수 강화를 통한 스타일 강화는 스타일이 적용된 출력에서 뚜렷하고 제어 가능한 변화를 유도하며, 중간 패널(γ = δ = 0.5)은 원본 콘텐츠와 유사하게 나타난다.
• 자유롭게 선택한 아키타입 간의 보간은 데이터셋에 직접 존재하지 않는 새로운 예술적 효과를 생성하며, 이는 본 방법의 생성 잠재력을 보여준다.