[논문 리뷰] Synthesis of Batik Motifs using a Diffusion -- Generative Adversarial Network

One Octadion, Novanto Yudistira외 1명|arXiv (Cornell University)|2023. 07. 22.

Cultural and Artistic StudiesSocial Sciences인용 수 3

한 줄 요약

이 논문은 스타일 제너레이티브 적대 신경망2-ADA와 디퓨전 기법을 융합한 디퓨전-제너레이티브 적대 신경망(Diffusion-GAN)을 제안하여 고품질이고 현실적인 바티크 무늬를 생성한다. 정교하게 선별된 다양한 바티크 데이터셋과 손실 함수 최적화(특히 워샤르슈타인 손실)를 활용함으로써, 모델은 진정성 있고 세밀하며 예술적으로 다양성이 뛰어난 패턴을 생성하며, 프리셰트 인ception 거리(FID)는 29.045를 기록하여 기준 GAN 모델 대비 미학적 품질과 다양성 면에서 뛰어난 성능을 보였다.

ABSTRACT

Batik, a unique blend of art and craftsmanship, is a distinct artistic and technological creation for Indonesian society. Research on batik motifs is primarily focused on classification. However, further studies may extend to the synthesis of batik patterns. Generative Adversarial Networks (GANs) have been an important deep learning model for generating synthetic data, but often face challenges in the stability and consistency of results. This research focuses on the use of StyleGAN2-Ada and Diffusion techniques to produce realistic and high-quality synthetic batik patterns. StyleGAN2-Ada is a variation of the GAN model that separates the style and content aspects in an image, whereas diffusion techniques introduce random noise into the data. In the context of batik, StyleGAN2-Ada and Diffusion are used to produce realistic synthetic batik patterns. This study also made adjustments to the model architecture and used a well-curated batik dataset. The main goal is to assist batik designers or craftsmen in producing unique and quality batik motifs with efficient production time and costs. Based on qualitative and quantitative evaluations, the results show that the model tested is capable of producing authentic and quality batik patterns, with finer details and rich artistic variations. The dataset and code can be accessed here:https://github.com/octadion/diffusion-stylegan2-ada-pytorch

연구 동기 및 목표

• 분류를 초과한 바티크 무늬 생성 분야의 제너레이티브 연구 부족을 해결하기 위해.
• 디퓨전 기법을 통합하여 제너레이티브 적대 신경망 기반 바티크 생성의 안정성과 품질을 향상시키기 위해.
• 바티크 디자이너가 고유하고 고품질의 무늬를 효율적으로 생산함으로써 시간과 비용을 절감할 수 있도록 하기 위해.
• 손실 함수(워샤르슈타인 대비 스타일 제너레이티브 적대 신경망2-ADA)와 데이터셋 품질이 생성 결과에 미치는 영향을 평가하기 위해.
• 향후 문화적 인공지능 연구를 위해 공개 가능한 코드베이스와 데이터셋 기여를 위해.

제안 방법

• 모델은 스타일과 콘텐츠를 분리하여 세밀한 제어가 가능한 스타일 제너레이티브 적대 신경망2-ADA와, 점진적으로 노이즈를 추가하고 제거하여 샘플 품질을 향상시키는 디퓨전 프로세스를 융합한다.
• 다양한 무늬와 색상 변형을 포함하는 정교하게 선별된 고품질 바티크 데이터셋을 사용하여 모델을 훈련시켜 진정성 있는 패턴을 학습할 수 있는 능력을 향상시켰다.
• 생성자는 적대적 손실을 최소화함으로써 현실적인 바티크 이미지를 생성하고, 판별자는 다중 노이즈 수준에서 실제 샘플과 생성된 샘플을 구분한다.
• 입력을 판별자에 도달하기 전에 수정하여 데이터 효율성을 높이고 과적합을 줄이기 위해 미분형 증강 기법을 적용하였다.
• 두 가지 손실 함수인 워샤르슈타인 제너레이티브 적대 신경망 손실과 스타일 제너레이티브 적대 신경망2-ADA의 표준 비포화 손실을 사용하여 출력 품질과 구조를 비교 분석할 수 있도록 하였다.
• 적응형 디퓨전 전략을 적용하여 각 디퓨전 단계에서 노이즈 대 데이터 비율을 조정함으로써 다양한 노이즈 수준에 대한 강건성을 향상시켰다.

실험 결과

연구 질문

• RQ1 디퓨전-GAN 모델은 높은 미학적 품질을 지닌 현실적이고 다양한 바티크 무늬를 효과적으로 생성할 수 있는가?
• RQ2 손실 함수 선택(워샤르슈타인 대비 스타일 제너레이티브 적대 신경망2-ADA)이 생성된 바티크 패턴의 구조적 정돈됨과 신선도에 어떤 영향을 미치는가?
• RQ3 데이터셋 품질과 다양성이 생성된 바티크 무늬의 성능과 진정성에 어느 정도의 영향을 미치는가?
• RQ4 디퓨전 기법의 통합이 제너레이티브 적대 신경망 기반 바티크 생성에서 훈련 안정성과 샘플 정밀도를 어떻게 향상시키는가?
• RQ5 제안된 모델은 세밀하고 문화적으로 진정성 있는 바티크 패턴을 생성하는 데 있어 표준 GAN 모델을 능가할 수 있는가?

주요 결과

• 모델은 프리셰트 인ception 거리(FID) 스코어 29.045를 달성하여 바티크 무늬의 고품질이고 다양한 생성 능력을 보였다.
• 워샤르슈타인 손실 사용 시 더 새로운 다양한 무늬 형태가 생성되었지만, 스타일 제너레이티브 적대 신경망2-ADA 손실 대비 배열이 덜 정돈되어 있었다.
• 스타일 제너레이티브 적대 신경망2-ADA 손실은 더 나은 구조적 일관성과 정돈됨을 제공하여 전통적 미학 기준에 적합했다.
• 고품질이고 다양한 데이터셋은 생성된 바티크 패턴의 현실성과 예술적 정밀도를 크게 향상시켰다.
• 디퓨전 기법의 통합은 훈련 안정성을 향상시키고 노이즈 수준과 데이터 변형에 대한 일반화 능력을 향상시켰다.
• 제안된 디퓨전-GAN 모델은 세밀하고 진정성 있는, 또 예술적으로 풍부한 바티크 무늬 생성에서 기준 GAN 모델을 능가하는 성능을 보였다.