[论文解读] Enhancing Authorship Attribution with Synthetic Paintings
本文表明，通过 DreamBooth 微调的 Stable Diffusion 生成的合成绘画，能够提升在样本少且风格相近的画家数据集上的署名作者识别模型的表现，混合真实与合成训练可获得稳健的增益。
Attributing authorship to paintings is a historically complex task, and one of its main challenges is the limited availability of real artworks for training computational models. This study investigates whether synthetic images, generated through DreamBooth fine-tuning of Stable Diffusion, can improve the performance of classification models in this context. We propose a hybrid approach that combines real and synthetic data to enhance model accuracy and generalization across similar artistic styles. Experimental results show that adding synthetic images leads to higher ROC-AUC and accuracy compared to using only real paintings. By integrating generative and discriminative methods, this work contributes to the development of computer vision techniques for artwork authentication in data-scarce scenarios.
研究动机与目标
- 在样本较少且风格相近的绘画数据集上推动稳健的署名识别。
- 研究合成数据是否能增补真实绘画以改善泛化。
- 在不同的片段采样策略下，评估真实与合成数据结合的影响。
- 考察合成绘画与真实绘画之间的领域转移及其对模型性能的影响。
提出的方法
- 对每位艺术家使用 DreamBooth 微调 Stable Diffusion 以捕捉个人绘画风格。
- 对每位艺术家以一致的提示词生成 100 幅合成绘画，并使用负提示词避免裁剪人物。
- 从三个变换器（MaxViT、BEiT v2、VOLO）提取片段级视觉嵌入并进行拼接。
- 在合并后的嵌入上对每位艺术家训练 LightGBM 分类器，进行类别平衡与早停。
- 使用 ROC-AUC、准确率、精确率、召回率和 F1-score，在四种数据配置（Real-Only、Synthetic-Only、Synthetic→Real、Real+Synthetic）和两种片段采样策略（M1、M2）下进行评估。
- 比较领域泛化并分析更密集的采样（M2）对性能的影响。
实验结果
研究问题
- RQ1在真实数据稀缺时，合成数据是否能提升署名识别？
- RQ2使用真实与合成绘画混合训练，如何影响在具有不同数据可用性的艺术家之间的泛化？
- RQ3在数据稀缺情境中，片段采样密度对模型性能有何影响？
- RQ4从合成到真实绘画的传递中存在的局限性与领域差距是什么？
- RQ5是否有一个统一的基于特征的分类器，可以有效地利用多种嵌入完成该任务？
主要发现
- 合成数据增强在所有艺术家上较仅用真实数据时具有更高的 ROC-AUC 与准确率。
- 真实与合成数据混合训练（尤其是 Hybrid-M2）提供最稳定、最稳健的结果。
- 仅合成数据设置在 ROC-AUC（>0.98）和准确率（>95%）方面表现极高。
- 在某些艺术家（如 TB）上对合成数据和领域转移存在敏感性，表现存在差异。
- 更密集的片段采样（M2）通常能提升泛化，尤其是对真实绘画较少的艺术家，但效果并非对所有情况都一致。
- Real→Synthetic 传递中存在显著的领域差距，表明当前生成技术存在局限。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。