[論文レビュー] Rembrandts and Robots: Using Neural Networks to Explore Authorship in Painting.

Steven J. Frank, Andrea Frank|arXiv (Cornell University)|Feb 12, 2020

Aesthetic Perception and Analysis参考文献 8被引用数 2

ひとこと要約

本稿では、アーティストの作品および同様の視覚的特徴を示す同業他者の作品を学習データとして用いた畳み込みニューラルネットワーク（CNN）を提案し、偽造の検出、作風の帰属付与、および作品内の複数の筆者の混在を、領域ごとの分類確率を割り当てることで特定する。主な貢献は、高い精度で作風の不一致や複数の筆者による作画を同定する手法の開発である。

ABSTRACT

Trained on the works of an artist under study and visually comparable works of other artists, convolutional neural networks can identify forgeries and provide attributions. They can also assign classification probabilities within a painting, revealing mixed authorship and identifying regions painted by different hands.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）を用いた、絵画における偽造品の同定を目的としたニューラルネットワークベースの手法の開発。
• 対象アーティストの作品と、類似した作品を有する同業他者の作品を学習データとして用いることで、特定のアーティストへの帰属を可能にする。
• 絵画内の領域ごとに空間的分類確率を用いて、異なる筆者による作画がなされた可能性のある領域を局所化する。
• 領域レベルでの確率的帰属を用いて、芸術的作風の不一致を定量化する。
• ディープラーニングを用いたデータ駆動型のアプローチを、芸術史における帰属分析に応用する。

提案手法

• 対象アーティストの作品と、他のアーティストの視覚的に類似した作品を含むデータセットを用いて畳み込みニューラルネットワーク（CNN）を学習する。
• 学習済みCNNを用いて、未知の絵画のパッチを分類し、各潜在的作者に対する確率スコアを割り当てる。
• モデルを絵画の空間的領域に適用し、各領域における帰属の可能性を示す確率マップを生成する。
• 予測された帰属確率を既知の帰属と比較し、偽造や複数筆者の混在を検出する際の正確性を評価する。
• CNNが学習した特徴表現を活用し、筆致、色彩、構図のあらゆる作風の微細な違いを捉える。
• ImageNetの事前学習済み重みを用いてネットワークを初期化することで、細分化された芸術的スタイルへの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークは、特定アーティストの真作と、他のアーティストによる偽作を正確に区別できるか？
• RQ2 モデルは、絵画のどの程度の領域が異なる筆者によって作画された可能性があるかを局所化できるか？
• RQ3 絵画の異なる領域における分類確率はどのように変動し、それらは作風の不一致をどのように示唆するか？
• RQ4 視覚的に類似した作風を持つアーティスト間で、モデルは微妙な帰属の違いを検出できるか？
• RQ5 学習データに同業他者の作品を含めることで、モデルの偽造検出能力はどのように向上するか？

主な発見

• モデルは、対象アーティストの作風と一致しない領域に対して低い信頼度スコアを割り当てることで、偽造品を効果的に同定した。
• 空間的確率マップを生成することで、1枚の絵画内に存在する明確な作風の異なる領域を特定し、複数筆者の混在を局所化できた。
• 既知の複数筆者による作品では、確率分布に基づき、異なる領域が異なるアーティストに帰属づけられた。
• 他のアーティストの視覚的に類似した作品を学習データに含めることで、真作と偽作の区別能力が向上した。
• 人間の専門家が気づかないような微細な作風の違いであっても、この手法は高い精度で作風のばらつきを区別できた。
• 本手法は、伝統的な芸術史的分析を補完する定量的かつ再現可能な帰属分析のための手法を提供した。