[論文レビュー] Machine: The New Art Connoisseur

Yucheng Zhu, Yanrong Ji+4 more|arXiv (Cornell University)|Nov 22, 2019

Aesthetic Perception and Analysis参考文献 6被引用数 4

ひとこと要約

本稿では、Inception-V3を用いた深層学習的手法を提案し、芸術様式を88.35%の正確さで分類する。これは、先行研究を20百分点以上上回る。特徴埋め込みとコサイン類似度を活用し、ネットワーク解析とt-SNE可視化を通じて、予想されるものと新しい芸術的影響を明らかにした。これにより、芸術史におけるスタイル的関係のデータ駆動型発見が可能になった。

ABSTRACT

The process of identifying and understanding art styles to discover artistic influences is essential to the study of art history. Traditionally, trained experts review fine details of the works and compare them to other known works. To automate and scale this task, we use several state-of-the-art CNN architectures to explore how a machine may help perceive and quantify art styles. This study explores: (1) How accurately can a machine classify art styles? (2) What may be the underlying relationships among different styles and artists? To help answer the first question, our best-performing model using Inception V3 achieves a 9-class classification accuracy of 88.35%, which outperforms the model in Elgammal et al.'s study by more than 20 percent. Visualizations using Grad-CAM heat maps confirm that the model correctly focuses on the characteristic parts of paintings. To help address the second question, we conduct network analysis on the influences among styles and artists by extracting 512 features from the best-performing classification model. Through 2D and 3D T-SNE visualizations, we observe clear chronological patterns of development and separation among the art styles. The network analysis also appears to show anticipated artist level connections from an art historical perspective. This technique appears to help identify some previously unknown linkages that may shed light upon new directions for further exploration by art historians. We hope that humans and machines working in concert may bring new opportunities to the field.

研究の動機と目的

• 深層学習を用いて、人間の専門家レベルを超える機械ベースの芸術様式分類を向上させること。
• 計算モデルが、様式や芸術家間の意味のある芸術的影響関係を同定できるかどうかを検討すること。
• データ駆動型分析を通じて、予想されるものとこれまでに未知の関連性を特定すること。
• Grad-CAMのヒートマップと特徴可視化を用いて、モデルの解釈可能性を検証すること。
• 芸術史研究者がスタイルの進化と関係性を探索できる、スケーラブルで自動化されたツールを提供すること。

提案手法

• 24,110枚の絵画から構成される洗練されたデータセット上で、最先端のCNN（VGG-16、ResNet-152、Inception-V3、Inception-ResNet-V2）を複数訓練した。
• 曖昧さを軽減し、モデル性能を向上させるために、芸術様式の分類を20クラスから9クラスに削減した。
• Grad-CAMを用いて注目マップを可視化し、モデルが絵画内の顕著な視覚的特徴に注目していることを確認した。
• 最も性能の優れたモデル（Inception-V3）の最終全結合層から、512次元の特徴埋め込みを抽出した。
• アーティスト間のペアワイズのコサイン距離とユークリッド距離を計算し、スタイルの類似度を定量化した。
• コサイン類似度を用いてアーティストのネットワークグラフを構築し、2次元および3次元のt-SNE投影により、時系列順に可視化した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、既存の手法を上回る精度で芸術様式を分類できるか？
• RQ2 計算分析によって明らかにされる芸術様式や芸術家間の背後にある関係性は何か？
• RQ3 機械学習モデルは、芸術史的知識と整合する既知の影響と、新たな影響を検出できるか？
• RQ4 深層ネットワーク内の視覚的注目メカニズムは、人間の芸術的特徴への視覚的認識と一致するか？
• RQ5 芸術家の時系列的順序付けによって、一方向の芸術的影響がどの程度明らかにできるか？

主な発見

• Inception-V3モデルは、9クラスの芸術様式分類で88.35%の正確さを達成し、先行研究を20百分点以上上回った。
• Grad-CAMのヒートマップにより、モデルが筆致や色の使い方といった特徴的な視覚的要素に注目していることが確認された。
• t-SNEの可視化により、スタイル発展の明確な時系列的パターンと、芸術運動間の明確な分離が明らかになった。
• ネットワーク解析により、アニュバル・カラッチとアゴスティーノ・カラッチ、ジオット・ディ・ボニアーロとチマブエの関係など、確立された芸術史的物語と整合するアーティストの関係が同定された。
• モデルは明白でない関連性も同定した。例えば、ウィリアム・ドブソンとカラヴァッジョ、そしてテオドール・ルソーとフョードル・ヴァシーリエフの間のスタイル的関連性が示唆され、新たな研究の道筋が示された。
• 時間的分解能の制限や単一リンク選択の欠点があるものの、モネがルノアールに与えた影響を含む、妥当な芸術的系譜が成功裏に明らかにされたが、生産年平均の偏りにより、誤りを含む可能性もあった。