[논문 리뷰] Enhancing Authorship Attribution with Synthetic Paintings

Clarissa Lima Loures, Caio Hosken외 3명|arXiv (Cornell University)|2026. 03. 04.

Aesthetic Perception and Analysis인용 수 0

한 줄 요약

본 논문은 DreamBooth 미세 조정으로 생성된 합성 페인팅을 Stable Diffusion에 적용할 때, 스타일이 비슷하고 데이터가 작은 화가 데이터셋에서 저자 식별 모델의 성능을 향상시키며, 실제+합성 혼합 학습이 강력한 이득을 낸다고 제시합니다.

ABSTRACT

Attributing authorship to paintings is a historically complex task, and one of its main challenges is the limited availability of real artworks for training computational models. This study investigates whether synthetic images, generated through DreamBooth fine-tuning of Stable Diffusion, can improve the performance of classification models in this context. We propose a hybrid approach that combines real and synthetic data to enhance model accuracy and generalization across similar artistic styles. Experimental results show that adding synthetic images leads to higher ROC-AUC and accuracy compared to using only real paintings. By integrating generative and discriminative methods, this work contributes to the development of computer vision techniques for artwork authentication in data-scarce scenarios.

연구 동기 및 목표

• 작고 스타일이 비슷한 그림 데이터셋에서 견고한 저자 식별을 촉진한다.
• 합성 데이터가 실제 페인팅을 보강하여 일반화에 도움을 주는지 조사한다.
• 다양한 패치 샘플링 전략하에서 실제 데이터와 합성 데이터의 결합이 미치는 영향을 평가한다.
• 합성 데이터와 실제 데이터 간의 도메인 간 차이가 모델 성능에 미치는 영향을 조사한다.

제안 방법

• DreamBooth를 사용하여 아티스트별 Stable Diffusion 모델을 미세 조정하여 개별 페인팅 스타일을 포착한다.
• 일관된 프롬프트와 부정 프롬프트를 사용하여 각 아티스트당 100장의 합성 페인팅을 생성하여 자른 그림이 나오지 않도록 한다.
• 세 개의 트랜스포머(MaxViT, BEiT v2, VOLO)로부터 패치 수준의 시각 임베딩을 추출하고 이를 연결한다.
• 클래스 불균형 조정과 이른 조기 중지를 적용한 결합 임베딩 기반의 per-artist LightGBM 분류기를 학습한다.
• 네 가지 데이터 구성(Real-Only, Synthetic-Only, Synthetic→Real, Real+Synthetic)과 두 가지 패치 샘플링 전략(M1, M2)에서 ROC-AUC, 정확도, 정밀도, 재현율, F1-스코어를 평가한다.
• 도메인 일반화와 더 조밀한 샘플링(M2)이 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 합성 데이터가 실제 데이터가 부족할 때 저자 식별을 개선하는가?
• RQ2 실제 페인팅과 합성 페인팅의 혼합으로 학습하면 데이터 가용성이 다른 아티스트 간 일반화에 어떤 영향을 미치는가?
• RQ3 데이터가 부족한 설정에서 패치 샘플링 밀도가 모델 성능에 미치는 영향은 무엇인가?
• RQ4 합성 페인팅에서 실제 페인팅으로의 전이에서의 한계와 도메인 격차는 무엇인가?
• RQ5 다중 임베딩을 효과적으로 활용하는 단일 특징 기반 분류기가 이 작업에 유용한가?

주요 결과

• 합성 데이터 증강은 아티스트별로 실제 데이터만 사용하는 것보다 ROC-AUC와 정확도에서 더 높은 성능을 보인다.
• 실제 및 합성 데이터의 혼합 학습(특히 Hybrid-M2)이 가장 안정적이고 강력한 결과를 제공한다.
• 합성-전용 구성이 모든 아티스트에서 매우 높은 ROC-AUC(0.98 이상)와 정확도(95% 이상)를 달성한다.
• 성능은 아티스트에 따라 다르게 나타나며 일부 아티스트(TB 등)는 합성 데이터 및 도메인 변화에 민감하게 반응한다.
• 더 조밀한 패치 샘플링(M2)은 일반적으로 일반화 능력을 향상시키며, 특히 실제 페인팅이 적은 아티스트의 경우에 더 뚜렷하다.
• Real→Synthetic 전이에서 뚜렷한 도메인 차이가 존재하며, 현재 생성 기술의 한계를 시사한다.