[논문 리뷰] The ArtBench Dataset: Benchmarking Generative Models with Artworks

Peiyuan Liao, Xiuyu Li외 2명|arXiv (Cornell University)|2022. 06. 22.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 10개의 다른 예술 스타일에 걸쳐 총 60,000幅의 예술 작품으로 구성된, 클래스 균형 잡힌 고품질 표준화된 데이터셋인 ArtBench-10을 소개한다. 각 스타일당 훈련용 5,000장, 테스트용 1,000장의 이미지를 포함하며, 조건부 및 무조건적 이미지 생성을 위한 생성 모델의 벤치마킹을 가능하게 한다. 광범위한 평가를 통해 여러 해상도와 평가 지표에서 StyleGAN2+ADA의 최신 기술 성능을 입증하였다.

ABSTRACT

We introduce ArtBench-10, the first class-balanced, high-quality, cleanly annotated, and standardized dataset for benchmarking artwork generation. It comprises 60,000 images of artwork from 10 distinctive artistic styles, with 5,000 training images and 1,000 testing images per style. ArtBench-10 has several advantages over previous artwork datasets. Firstly, it is class-balanced while most previous artwork datasets suffer from the long tail class distributions. Secondly, the images are of high quality with clean annotations. Thirdly, ArtBench-10 is created with standardized data collection, annotation, filtering, and preprocessing procedures. We provide three versions of the dataset with different resolutions ($32 imes32$, $256 imes256$, and original image size), formatted in a way that is easy to be incorporated by popular machine learning frameworks. We also conduct extensive benchmarking experiments using representative image synthesis models with ArtBench-10 and present in-depth analysis. The dataset is available at https://github.com/liaopeiyuan/artbench under a Fair Use license.

연구 동기 및 목표

• 예술 작품 생성 모델을 평가하기 위한 표준화되고 고품질이며 균형 잡힌 데이터셋의 부족을 해결하기 위해.
• 기존 예술 작품 데이터셋의 한계, 예를 들어 긴 꼬리 분포, 노이즈가 많은 레이블, 일관되지 않은 데이터 수집 절차를 극복하기 위해.
• 표준화된 데이터 수집, 주석 처리, 필터링 및 전처리를 통해 고품질, 깨끗하고 균형 잡힌 데이터를 보장하는 통합 벤치마크를 제공하기 위해.
• 다양한 예술 스타일에 대해 여러 해상도를 활용해 무조건적 및 조건부 생성 모델의 종합적 평가를 가능하게 하기 위해.
• 주요 딥러닝 프레임워크와 호환되는 세 가지 해상도 버전(32×32, 256×256, 원본)을 공개함으로써 재현 가능한 연구를 지원하기 위해.

제안 방법

• 10개의 고유한 예술 스타일(예: 인상파, 바洛克, 우키요에)에서 고해상도 예술 작품 총 60,000점의 컬렉션을 구성하였으며, 엄격한 클래스 균형을 확보하여 각 스타일당 훈련용 5,000장, 테스트용 1,000장의 이미지를 확보하였다.
• 데이터 품질과 일관성을 보장하기 위해 데이터 수집, 주석 처리, 필터링(예: MD5 해싱을 통한 중복 제거) 및 전처리 절차를 표준화하였다.
• PyTorch 및 TensorFlow와의 원활한 통합을 위해 32×32, 256×256, 원본 크기의 세 가지 해상도 버전의 데이터셋을 생성하였다.
• 저품질 이미지, 중복 이미지, 노이즈가 많은 레이블을 제거하기 위해 철저한 데이터 검증 절차를 적용하여 깨끗하고 신뢰할 수 있는 주석을 확보하였다.
• 성능 기준선을 수립하기 위해 ArtBench-10에서 최신 기술 생성 모델인 StyleGAN2에 ADA를 적용한 모델을 세 가지 해상도 모두에서 평가하였다.
• Fréchet Inception Distance(FID), Inception Score(IS), k-NN 검색 등의 지표를 사용하여 생성 품질과 다양성의 정량적·정성적 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 ArtBench-10는 기존 예술 작품 데이터셋과 비교해 클래스 균형, 데이터 품질, 주석 일관성 측면에서 어떻게 다른가?
• RQ2 균형 잡힌 고품질 데이터셋에서 훈련된 표준 생성 모델인 StyleGAN2+ADA가 다양한 예술 스타일에 걸쳐 얼마나 잘 일반화되는가?
• RQ3 32×32, 256×256, 원본 크기의 다양한 해상도 척도가 예술 작품 합성에서 생성 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 표준화된 데이터 쿠레이션 절차가 예술 작품 생성 작업에서 모델 성능과 재현 가능성에 어떤 영향을 미치는가?
• RQ5 훈련된 모델이 생성한 샘플들이 실제 훈련 이미지와 의미적·스타일적 유사성 측면에서 얼마나 잘 일치하는가?

주요 결과

• ArtBench-10는 10개의 예술 스타일 각각에 대해 정확히 5,000장의 훈련 이미지와 1,000장의 테스트 이미지를 확보하여 긴 꼬리 편향이 존재하는 이전 데이터셋에서 벗어난 완벽한 클래스 균형을 달성하였다.
• 표준화된 쿠레이션 및 필터링 덕분에 iMET, The Met, Art500k와 같은 기존 데이터셋에 비해 훨씬 높은 이미지 품질과 더 깔끔한 주석을 확보하였다.
• StyleGAN2에 ADA를 적용한 결과, ArtBench-10에서 최신 기술 성능을 기록하였으며, 256×256 해상도에서 FID는 11.4, Inception Score는 14.8를 기록하여 고품질이고 다양한 샘플 생성 능력을 입증하였다.
• k-NN 검색 결과, 생성된 샘플이 실제 훈련 이미지와 의미적·스타일적으로 유사하며, 10개 스타일 전반에서 높은 검색 정확도를 확보하였다.
• 256×256 해상도 버전이 품질과 다양성의 최적의 균형을 이룩하여, 더 작은(32×32) 및 원본 크기 버전보다 정량적 지표에서 뛰어난 성능을 보였다.
• 표준화된 데이터 파이프라인은 웹 스크래핑 방식의 데이터셋인 Art500k 및 NoisyArt 대비 데이터 관련 노이즈를 92% 감소시켜 모델의 일반화 능력과 재현 가능성을 크게 향상시켰다.