[论文解读] Machine: The New Art Connoisseur

Yucheng Zhu, Yanrong Ji+4 more|arXiv (Cornell University)|Nov 22, 2019

Aesthetic Perception and Analysis参考文献 6被引用 4

一句话总结

本文提出一种基于Inception-V3的深度学习方法，以88.35%的准确率对艺术风格进行分类，较先前工作提升超过20个百分点。该方法利用特征嵌入与余弦相似度，通过网络分析和t-SNE可视化，揭示了预期的及新颖的艺术影响关系，实现了艺术史中风格关系的数据驱动发现。

ABSTRACT

The process of identifying and understanding art styles to discover artistic influences is essential to the study of art history. Traditionally, trained experts review fine details of the works and compare them to other known works. To automate and scale this task, we use several state-of-the-art CNN architectures to explore how a machine may help perceive and quantify art styles. This study explores: (1) How accurately can a machine classify art styles? (2) What may be the underlying relationships among different styles and artists? To help answer the first question, our best-performing model using Inception V3 achieves a 9-class classification accuracy of 88.35%, which outperforms the model in Elgammal et al.'s study by more than 20 percent. Visualizations using Grad-CAM heat maps confirm that the model correctly focuses on the characteristic parts of paintings. To help address the second question, we conduct network analysis on the influences among styles and artists by extracting 512 features from the best-performing classification model. Through 2D and 3D T-SNE visualizations, we observe clear chronological patterns of development and separation among the art styles. The network analysis also appears to show anticipated artist level connections from an art historical perspective. This technique appears to help identify some previously unknown linkages that may shed light upon new directions for further exploration by art historians. We hope that humans and machines working in concert may bring new opportunities to the field.

研究动机与目标

• 通过深度学习提升机器驱动的艺术风格分类性能，超越人类专家水平。
• 探究计算模型是否能够揭示艺术风格与艺术家之间有意义的艺术影响关系。
• 通过数据驱动分析，识别艺术史中既有的及此前未知的关联。
• 利用Grad-CAM热力图与特征可视化验证模型的可解释性。
• 为艺术史学家提供一种可扩展、自动化的工具，以探索风格的演变与关联。

提出的方法

• 在包含24,110幅画作的精选数据集上，训练了多种最先进CNN模型——VGG-16、ResNet-152、Inception-V3与Inception-ResNet-V2。
• 将艺术风格分类从20类减少至9类，以降低歧义性并提升模型性能。
• 使用Grad-CAM可视化注意力图，验证模型是否聚焦于画作中的显著视觉特征。
• 从表现最佳的模型（Inception-V3）的最后全连接层提取512维特征嵌入。
• 计算艺术家之间的成对余弦距离与欧氏距离，以量化风格相似性。
• 基于余弦相似度构建艺术家网络图，并通过2D与3D t-SNE投影进行时序可视化。

实验结果

研究问题

• RQ1 深度学习模型能否比现有方法更准确地分类艺术风格？
• RQ2 计算分析揭示的艺术风格与艺术家之间存在何种潜在关系？
• RQ3 机器学习模型能否检测到与艺术史知识一致的已知与新艺术影响？
• RQ4 深度神经网络中的视觉注意力机制与人类对艺术特征的视觉感知在多大程度上一致？
• RQ5 艺术家的时序排序在多大程度上能揭示单向艺术影响？

主要发现

• Inception-V3模型在9类艺术风格分类任务中达到88.35%的准确率，较先前工作提升超过20个百分点。
• Grad-CAM热力图证实，模型聚焦于画作中具有特征性的视觉元素，如笔触与色彩运用。
• t-SNE可视化揭示了风格发展的清晰时序模式，以及艺术流派之间的明显分离。
• 网络分析识别出与既定艺术史叙事一致的艺术家关联，例如安尼巴莱与阿戈斯蒂诺·卡拉奇之间，或乔托与奇马布埃之间的联系。
• 模型发现了非显而易见的关联，如威廉·多布森与卡拉瓦乔之间可能存在风格联系，以及西奥多·卢梭与费奥多尔·瓦西里耶夫之间可能存在联系，提示了新的研究方向。
• 尽管存在时间分辨率有限与单链选择的局限，该方法仍成功揭示了合理的艺术传承脉络，包括莫奈对雷诺阿的影响，但因生产年份平均值偏移，可能存在一定误差。