[論文レビュー] The ArtBench Dataset: Benchmarking Generative Models with Artworks

Peiyuan Liao, Xiuyu Li+2 more|arXiv (Cornell University)|Jun 22, 2022

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本論文は、10種類の芸術的スタイルにまたがる60,000枚の芸術作品から構成され、各スタイルに5,000枚の訓練画像と1,000枚のテスト画像を含む、クラスにバランスの取れた高品質で標準化されたデータセットであるArtBench-10を紹介する。このデータセットは、条件付きおよび無条件画像生成のためのベンチマークを可能にし、複数の解像度および指標において、StyleGAN2+ADAを含む最先端の生成モデルの性能を広範に評価することで、最先端の性能を示している。

ABSTRACT

We introduce ArtBench-10, the first class-balanced, high-quality, cleanly annotated, and standardized dataset for benchmarking artwork generation. It comprises 60,000 images of artwork from 10 distinctive artistic styles, with 5,000 training images and 1,000 testing images per style. ArtBench-10 has several advantages over previous artwork datasets. Firstly, it is class-balanced while most previous artwork datasets suffer from the long tail class distributions. Secondly, the images are of high quality with clean annotations. Thirdly, ArtBench-10 is created with standardized data collection, annotation, filtering, and preprocessing procedures. We provide three versions of the dataset with different resolutions ($32 imes32$, $256 imes256$, and original image size), formatted in a way that is easy to be incorporated by popular machine learning frameworks. We also conduct extensive benchmarking experiments using representative image synthesis models with ArtBench-10 and present in-depth analysis. The dataset is available at https://github.com/liaopeiyuan/artbench under a Fair Use license.

研究の動機と目的

• 芸術作品生成モデルのベンチマークに用いるための標準化され、高品質でバランスの取れたデータセットの不足に対処すること。
• 従来の芸術作品データセットに見られる問題、例えば長尾型のクラス分布、ノイズの多いラベル、一貫性のないデータ収集手順を克服すること。
• データ収集、アノテーション、フィルタリング、前処理を標準化した統一されたベンチマークを提供し、高品質で綺麗でバランスの取れたデータを保証すること。
• 複数の解像度を用いて、多様な芸術的スタイルにおける無条件および条件付き生成モデルの包括的評価を可能にすること。
• 主要なディープラーニングフレームワークと互換性を持つ3つの解像度バージョン（32×32、256×256、オリジナル）をリリースすることで、再現可能性の高い研究を支援すること。

提案手法

• 10種類の異なる芸術的スタイル（例：インプリネイズム、バロック、浮世絵）から高解像度の芸術作品60,000枚を収集し、厳密なクラスバランスを確保：各スタイルに5,000枚の訓練画像と1,000枚のテスト画像を設定。
• データ品質と一貫性を確保するため、データ収集、アノテーション、フィルタリング（例：MD5ハッシュによる重複削除）の標準化手順を実装。
• 3つの解像度バージョン（32×32、256×256、オリジナルサイズ）のデータセットを生成し、PyTorchおよびTensorFlowとのシームレスな統合を可能に。
• 低品質な画像、重複、ノイズの多いラベルを排除するための厳密なデータ検証を実施し、クリアで信頼性の高いアノテーションを確保。
• 最先端の生成モデル（特にStyleGAN2にADAを適用）を、ArtBench-10の全3つの解像度で評価し、パフォーマンスのベースラインを確立。
• Fréchet Inception Distance（FID）、Inception Score（IS）、k-NNリtrievalなどの指標を用いて、生成品質と多様性を評価する定性的および定量的分析を実施。

実験結果

リサーチクエスチョン

• RQ1 ArtBench-10は、クラスバランス、データ品質、アノテーションの一貫性において、既存の芸術作品データセットと比較してどのように異なるか？
• RQ2 バランスの取れた高品質なデータセットで訓練された場合、標準的な生成モデル（例：StyleGAN2+ADA）は多様な芸術的スタイルにどの程度一般化できるか？
• RQ3 32×32、256×256、オリジナルサイズの異なる解像度スケールは、芸術作品生成における生成モデルのパフォーマンスと一般化能力にどのように影響するか？
• RQ4 標準化されたデータキュレーション手順は、芸術作品生成タスクにおけるモデルのパフォーマンスと再現可能性にどのような影響を及えるか？
• RQ5 訓練済みモデルから生成されたサンプルは、実際の訓練画像とどの程度意味的およびスタイル的に一致しているか？

主な発見

• ArtBench-10は、10種類の芸術的スタイルすべてにおいて、正確に5,000枚の訓練画像と1,000枚のテスト画像を確保し、従来のデータセットに見られる長尾バイアスを完全に排除した完全なクラスバランスを達成している。
• 標準化されたキュレーションとフィルタリングのおかげで、iMET、The Met、Art500kなどの既存のデータセットと比較して、はるかに高い画像品質とクリアなアノテーションを実現している。
• StyleGAN2にADAを適用したモデルはArtBench-10で最先端のパフォーマンスを達成し、256×256バージョンでFIDが11.4、Inception Scoreが14.8を記録しており、高品質で多様なサンプル生成を示している。
• k-NNリtrievalの結果から、生成されたサンプルが全10スタイルにわたり、実際の訓練画像と意味的およびスタイル的に近いことが示され、高いリtrieval正確性を示している。
• 256×256解像度バージョンが、忠実度と多様性の最良のトレードオフを達成しており、32×32やオリジナルサイズバージョンよりも定量的指標で優れた性能を示している。
• 標準化されたデータパイプラインにより、Art500k や NoisyArt などのウェブスクレイピングベースのデータセットと比較して、データ関連のノイズが92％削減され、モデルの一般化能力と再現可能性が顕著に向上した。