[논문 리뷰] Paint4Poem: A Dataset for Artistic Visualization of Classical Chinese Poems

Dan Li, Shuai Wang외 5명|arXiv (Cornell University)|2021. 09. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 5

한 줄 요약

이 논문은 고전 중국 시를 예술적으로 시각화하기 위한 새로운 데이터셋인 Paint4Poem을 소개한다. 이 데이터셋은 예술가 폰지카이의 수작 301개의 수작-화풍 쌍과 웹 스크래핑 및 이미지 스타일 분류를 통해 수집한 92,852개의 추가 쌍(3,648개의 캡션-화풍 쌍과 89,204개의 시-화풍 쌍)을 포함한다. 벤치마크 평가 결과, 최신 텍스트-이미지 생성 모델(AttnGAN 및 MirrorGAN)은 고품질의, 스타일적으로 정확한 그림을 생성할 수 있지만, 고전 중국 시의 의미를 완전히 포착하지 못하는 데 어려움을 겪는다.

ABSTRACT

In this work we propose a new task: artistic visualization of classical Chinese poems, where the goal is to generatepaintings of a certain artistic style for classical Chinese poems. For this purpose, we construct a new dataset called Paint4Poem. Thefirst part of Paint4Poem consists of 301 high-quality poem-painting pairs collected manually from an influential modern Chinese artistFeng Zikai. As its small scale poses challenges for effectively training poem-to-painting generation models, we introduce the secondpart of Paint4Poem, which consists of 3,648 caption-painting pairs collected manually from Feng Zikai's paintings and 89,204 poem-painting pairs collected automatically from the web. We expect the former to help learning the artist painting style as it containshis most paintings, and the latter to help learning the semantic relevance between poems and paintings. Further, we analyze Paint4Poem regarding poem diversity, painting style, and the semantic relevance between poems and paintings. We create abenchmark for Paint4Poem: we train two representative text-to-image generation models: AttnGAN and MirrorGAN, and evaluate theirperformance regarding painting pictorial quality, painting stylistic relevance, and semantic relevance between poems and paintings.The results indicate that the models are able to generate paintings that have good pictorial quality and mimic Feng Zikai's style, but thereflection of poem semantics is limited. The dataset also poses many interesting research directions on this task, including transferlearning, few-shot learning, text-to-image generation for low-resource data etc. The dataset is publicly available.(https://github.com/paint4poem/paint4poem)

연구 동기 및 목표

• 고전 중국 시의 예술적 시각화를 위한 데이터셋 부족 문제를 해결하기 위해, 문학과 시각 예술을 연결하는 작업을 수행한다.
• 기계 학습 모델이 고전 중국 시의 의미적 내용을 반영하면서도 폰지카이의 특정 예술 스타일(펑지카이의 스타일)을 구현한 그림을 생성할 수 있도록 한다.
• 문화적으로 풍부한 저자원 데이터셋을 제공하여 저자원 텍스트-이미지 생성, 소수 샘플 학습, 전이 학습 분야의 연구를 지원한다.
• 생성된 그림의 시각적 품질, 스타일적 관련성, 그리고 입력 시와 생성된 이미지 간의 의미 일치도를 평가하기 위한 벤치마크를 구축한다.

제안 방법

• 이중 구조의 데이터셋을 구성: Feng Zikai의 작품에서 수작으로 선별한 301개의 고품질 시-화풍 쌍(Zikai-Poem)을 학습 및 테스트에 사용한다.
• 폰지카이의 그림에서 수작으로 3,648개의 캡션-화풍 쌍을 수집하여 그의 독특한 예술 스타일을 학습한다.
• 스크래핑 스크립트와 이미지 스타일 분류 모델을 사용해 웹에서 자동으로 89,204개의 시-화풍 쌍을 수집하여 전통 중국화 스타일과 일치하도록 한다.
• 이 데이터셋을 사용해 최신 텍스트-이미지 생성 모델인 AttnGAN과 MirrorGAN을 학습하고 평가한다.
• 생성된 그림의 시각적 품질, 폰지카이 스타일에 대한 스타일적 관련성, 입력 시와 생성된 이미지 간의 의미 일치도를 세 가지 차원에서 모델 성능을 평가한다.
• 시의 주석과 이미지 캡션과 같은 메타데이터를 활용해 의미 이해를 향상시키고 언어-시각 간 격차를 해소한다.

실험 결과

연구 질문

• RQ1 텍스트-이미지 생성 모델은 고전 중국 시에서 폰지카이의 예술 스타일을 효과적으로 학습하여 그림을 생성할 수 있는가?
• RQ2 생성된 그림과 관련된 시를 기반으로 모델이 고전 중국 시의 의미적 내용을 어느 정도 포착할 수 있는가?
• RQ3 수작으로 캡션-화풍 쌍을 포함시킬 경우, 순수하게 자동으로 수집된 데이터에 비해 스타일 학습에 어떤 영향을 미치는가?
• RQ4 현재의 텍스트-이미지 생성 모델은 저자원이며 문화적으로 특수한 고전적 시적 텍스트에 대해 의미적으로 일치하는 그림을 생성하는 데 어떤 한계를 지닌다?
• RQ5 전이 학습 또는 소수 샘플 학습 전략은 저자원이며 의미적으로 높은 복잡도를 지닌 이 작업에서 성능을 향상시킬 수 있는가?

주요 결과

• AttnGAN 및 MirrorGAN 모델은 고급 시각적 품질과 폰지카이의 스타일에 강한 유사성을 지닌 그림을 성공적으로 생성한다.
• 시각적 품질과 스타일적 유사성은 우수하지만, 모델들은 입력된 고전 중국 시의 의미적 내용을 생성된 그림에 충분히 반영하지 못하는 것으로 나타났다.
• 수작으로 정렬한 3,648개의 캡션-화풍 쌍을 포함시킴으로써 모델의 폰지카이의 독특한 예술 스타일 학습 능력이 크게 향상되었다.
• 자동으로 수집한 89,204개의 시-화풍 쌍은 규모가 크지만 웹 스크래핑 데이터의 잠재적 노이즈와 일치하지 않는 점으로 인해 의미 일치도 측면에선 효과가 떨어졌다.
• Paint4Poem 데이터셋은 저자원이며 문화적으로 특수한 텍스트-이미지 작업에 대해 소수 샘플 학습, 전이 학습, 제로샷 생성 분야의 새로운 연구 방향을 가능하게 한다.
• 시 주석과 이미지 캡션을 포함한 데이터셋의 메타데이터는 텍스트-이미지 생성에서 의미 기반 정합성을 향상시키는 데 유용한 신호를 제공한다.