[論文レビュー] Enhancing Authorship Attribution with Synthetic Paintings

Clarissa Lima Loures, Caio Hosken+3 more|arXiv (Cornell University)|Mar 4, 2026

Aesthetic Perception and Analysis被引用数 0

ひとこと要約

この論文は、DreamBoothでのStable Diffusion微調整により生成された合成絵画を追加することで、少量でスタイルが類似した作家データセット上の著作権帰属モデルの性能が向上することを示し、実データと合成データの混合訓練が頑健な改善をもたらす。

ABSTRACT

Attributing authorship to paintings is a historically complex task, and one of its main challenges is the limited availability of real artworks for training computational models. This study investigates whether synthetic images, generated through DreamBooth fine-tuning of Stable Diffusion, can improve the performance of classification models in this context. We propose a hybrid approach that combines real and synthetic data to enhance model accuracy and generalization across similar artistic styles. Experimental results show that adding synthetic images leads to higher ROC-AUC and accuracy compared to using only real paintings. By integrating generative and discriminative methods, this work contributes to the development of computer vision techniques for artwork authentication in data-scarce scenarios.

研究の動機と目的

• 小さく、スタイルが類似した絵画データセットに対して頑健な著作権帰属を動機付ける。
• 実データと合成データを組み合わせて一般化を改善できるかを調査する。
• 実データと合成データを異なるパッチ抽出戦略で併用した場合の影響を評価する。
• 合成と実絵画のドメインシフトとモデル性能への影響を検討する。

提案手法

• アーティストごとにDreamBoothを用いてStable Diffusionモデルを微調整し、個々の絵画スタイルを捉える。
• 各アーティストにつき同一のプロンプトと否定プロンプトを用いて100枚の合成絵画を生成し、切り抜き画像が cropped にならないようにする。
• MaxViT、BEiT v2、VOLO の3つのトランスフォーマーからパッチレベルの視覚埋め込みを抽出し、それらを結合する。
• 結合埋め込みを用いて、クラスバランシングと早期停止を適用したアーティストごとのLightGBM分類器を訓練する。
• 4つのデータ構成（Real-Only、Synthetic-Only、Synthetic→Real、Real+Synthetic）と2つのパッチ抽出戦略（M1、M2）でROC-AUC、精度、適合率、再現率、F1スコアを評価する。
• ドメイン一般化を比較し、より密なサンプリング（M2）が性能に与える影響を分析する。）

実験結果

リサーチクエスチョン

• RQ1 実データが不足している場合に、合成データは著作権帰属の精度を改善するか。
• RQ2 実データと合成絵画の混合で、データ量の異なるアーティスト間の一般化にはどう影響するか。
• RQ3 データ不足設定におけるパッチ抽出密度がモデル性能に与える影響は何か。
• RQ4 合成絵画から実絵画へ転移する際の制限とドメインギャップは何か。
• RQ5 このタスクに対して、複数の埋め込みを統一的な特徴量ベースの分類器で効果的に活用できるか。

主な発見

• 合成データ拡張は、アーティストごとに実データのみよりも高いROC-AUCと精度を達成する。
• 実データと合成データを組み合わせたハイブリッド訓練（特に Hybrid-M2）は、最も安定して頑健な結果を提供する。
• 合成のみの設定は、アーティスト全体で非常に高いROC-AUC（0.98超）と精度（95％超）を達成する。
• アーティストごとに性能は異なり、TBのような一部アーティストは合成データとドメインシフトに敏感。
• より密なパッチ抽出（M2）は、特に実データが少ないアーティストで一般化を改善する傾向があるが、効果は一様ではない。
• Real→Synthetic転移には顕著なドメインギャップが存在し、現在の生成技術には限界があることを示唆する。