[논문 리뷰] Machine: The New Art Connoisseur

Yucheng Zhu, Yanrong Ji외 4명|arXiv (Cornell University)|2019. 11. 22.

Aesthetic Perception and Analysis참고 문헌 6인용 수 4

한 줄 요약

이 논문은 Inception-V3를 사용한 딥러닝 접근법을 제안하여 예술 스타일을 88.35%의 정확도로 분류한다. 이는 이전 연구보다 20个百分点 이상 뛰어나며, 특징 임bedding과 코사인 유사도를 활용해 네트워크 분석과 t-SNE 시각화를 통해 예상되는 바와 새로운 예술적 영향을 밝혀내며, 예술사에서 스타일적 관계를 데이터 기반으로 탐색할 수 있게 한다.

ABSTRACT

The process of identifying and understanding art styles to discover artistic influences is essential to the study of art history. Traditionally, trained experts review fine details of the works and compare them to other known works. To automate and scale this task, we use several state-of-the-art CNN architectures to explore how a machine may help perceive and quantify art styles. This study explores: (1) How accurately can a machine classify art styles? (2) What may be the underlying relationships among different styles and artists? To help answer the first question, our best-performing model using Inception V3 achieves a 9-class classification accuracy of 88.35%, which outperforms the model in Elgammal et al.'s study by more than 20 percent. Visualizations using Grad-CAM heat maps confirm that the model correctly focuses on the characteristic parts of paintings. To help address the second question, we conduct network analysis on the influences among styles and artists by extracting 512 features from the best-performing classification model. Through 2D and 3D T-SNE visualizations, we observe clear chronological patterns of development and separation among the art styles. The network analysis also appears to show anticipated artist level connections from an art historical perspective. This technique appears to help identify some previously unknown linkages that may shed light upon new directions for further exploration by art historians. We hope that humans and machines working in concert may bring new opportunities to the field.

연구 동기 및 목표

• 딥러닝을 통해 인간 전문가 수준을 초월하는 기계 기반의 예술 스타일 분류 성능을 향상시키기 위해.
• 계산 모델이 스타일과 예술가들 사이에 의미 있는 예술적 영향을 밝혀낼 수 있는지 탐색하기 위해.
• 데이터 기반 분석을 통해 예상되는 바와 이전에 알려지지 않은 연결 고리를 모두 식별하기 위해.
• Grad-CAM 히트맵과 특징 시각화를 통해 모델의 해석 가능성(해석 가능성)을 검증하기 위해.
• 예술사학자들이 스타일의 진화와 연결 고리를 탐색할 수 있도록 확장 가능하고 자동화된 도구를 제공하기 위해.

제안 방법

• 24,110幅의 그림으로 구성된 정제된 데이터셋을 기반으로 VGG-16, ResNet-152, Inception-V3, Inception-ResNet-V2 등의 최신 기술 CNN 모델을 훈련시켰다.
• 모델 성능 향상을 위해 모호성을 줄이기 위해 20개의 스타일 클래스를 9개로 감소시켰다.
• 모델이 그림의 주목할 만한 시각적 특징에 집중하고 있음을 확인하기 위해 Grad-CAM을 사용해 주의 맵을 시각화했다.
• 성능이 가장 뛰어난 모델(Inception-V3)의 최종 완전 연결층에서 512차원의 특징 임bedding을 추출했다.
• 예술가 간의 쌍별 코사인 거리와 유클리드 거리를 계산하여 스타일 유사도를 정량화했다.
• 코사인 유사도를 기반으로 예술가 네트워크 그래프를 구축하고, 2D 및 3D t-SNE 투영을 통해 연대순으로 시각화했다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 기존 방법보다 더 정확하게 예술 스타일을 분류할 수 있는가?
• RQ2 계산 분석을 통해 드러나는 예술 스타일과 예술가들 사이의 잠재적 관계는 무엇인가?
• RQ3 기계 학습 모델은 아티스트 역사 지식과 일치하는 알려진 영향과 새로운 예술적 영향을 감지할 수 있는가?
• RQ4 딥 네트워크의 시각적 주의 메커니즘이 인간의 예술적 특징 인식과 얼마나 일치하는가?
• RQ5 예술가들의 연대순 정렬이 일방적인 예술적 영향을 얼마나 잘 드러내는가?

주요 결과

• Inception-V3 모델은 9개의 예술 스타일 분류에서 88.35%의 정확도를 기록했으며, 이는 이전 연구보다 20个百分点 이상 뛰어난 성능이다.
• Grad-CAM 히트맵은 모델이 그림의 특징적인 시각적 요소, 예를 들어 브러시 스토킹과 색채 사용에 집중하고 있음을 확인했다.
• t-SNE 시각화 결과에서 예술 스타일의 발전 과정이 명확한 연대적 패턴을 보이며, 예술 운동 간에 뚜렷한 분리가 이루어짐을 확인했다.
• 네트워크 분석을 통해 Annibale와 Agostino Carracci 또는 Giotto와 Cimabue 사이의 기존 예술사 서술과 일치하는 예술가 간 연결 고리를 규명했다.
• 비록 명백하지 않은 연결 고리들도 발견되었으며, 예를 들어 William Dobson과 Caravaggio 사이, Théodore Rousseau와 Fyodor Vasilyev 사이에 잠재적인 스타일적 연결 고리가 존재함을 시사하여 새로운 연구 방향을 제시했다.
• 시간적 해상도의 한계와 단일 연결 선별의 문제에도 불구하고, 이 방법은 Monet이 Renoir에 영향을 주었다는 유력한 예술적 계보를 성공적으로 드러내었으며, 생산 연도 평균의 편향으로 인해 일부 정확도가 떨어질 수 있음에도 불구하고 타당한 예술적 계보를 규명했다.