[논문 리뷰] KaoKore: A Pre-modern Japanese Art Facial Expression Dataset

Yingtao Tian, Chikahiko Suzuki외 4명|arXiv (Cornell University)|2020. 02. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 14

한 줄 요약

이 논문은 고대 일본 미술의 표정을 담은 정제된 데이터셋인 KaoKore를 소개한다. 이 데이터셋은 표준화된 기계 학습 친화적 형식으로 변환된 '표현의 수집'에서 유래되었으며, 일관된 이미지 크기와 구조화된 레이블을 갖추고 있다. 이 데이터셋은 이미지 분류 벤치마크와 스트로크 기반 신경 페인팅 기법을 활용한 창의적 생성 모델링을 가능하게 하여, 인간의 그림 그리기 과정을 모방함으로써 기존 GAN보다 더 예술적으로 설득력 있는 결과를 도출한다.

ABSTRACT

From classifying handwritten digits to generating strings of text, the datasets which have received long-time focus from the machine learning community vary greatly in their subject matter. This has motivated a renewed interest in building datasets which are socially and culturally relevant, so that algorithmic research may have a more direct and immediate impact on society. One such area is in history and the humanities, where better and relevant machine learning models can accelerate research across various fields. To this end, newly released benchmarks and models have been proposed for transcribing historical Japanese cursive writing, yet for the field as a whole using machine learning for historical Japanese artworks still remains largely uncharted. To bridge this gap, in this work we propose a new dataset KaoKore which consists of faces extracted from pre-modern Japanese artwork. We demonstrate its value as both a dataset for image classification as well as a creative and artistic dataset, which we explore using generative models. Dataset available at https://github.com/rois-codh/kaokore

연구 동기 및 목표

• 기계 학습 연구에서 고대 일본 미술의 표정에 대해 표준화되고 기계로 읽을 수 있는 데이터셋이 부족한 문제를 해결하기 위해.
• 원래 JSON-LD 형식으로 되어 있으며 이미지 크기와 메타데이터가 불규칙한 기존 '표현의 수집'을, 모델 훈련 및 평가에 적합한 깔끔하고 규칙적인 형식으로 변환하기 위해.
• 동일한 데이터셋을 통해 분류 작업(예: 이미지 분류)과 생성 작업(예: 신경 페인팅)을 모두 지원하기 위해.
• 일본 예술사 연구와 현대 기계 학습 간 격차를 메우기 위해, 확장 가능하고 상호 운용 가능하며 재현 가능한 연구를 가능하게 하기 위해.
• 인간의 인도적 편향(예: 스트로크 기반 렌더링)을 가진 생성 모델이 고대 일본 회화의 예술 스타일을 더 잘 포착할 수 있는지 탐구하기 위해.

제안 방법

• KaoKore 데이터셋은 '표현의 수집'에서 유래한 1,000개 이상의 자르기 완료된 얼굴 이미지를 재처리하여 제작되었으며, 이미지 해상도를 표준화하고 메타데이터를 단순화하여 일관된 레이블로 변환하였다.
• 성별(남성/여성), 사회적 신분(귀족, 무사, 평민, 화신), 예술 스타일 등의 다중 레이블을 포함하여 세밀한 분류 작업을 가능하게 하였다.
• PyTorch와 TensorFlow 모두에서 사용 가능한 표준화된 데이터 로더를 제공하며, 공식적인 훈련/검증/테스트 분할을 통해 다양한 딥러닝 프레임워크 간 재현 가능성을 확보하였다.
• KaoKore 데이터셋을 기반으로 컨volutional 신경망(CNNs)을 사용한 이미지 분류 기준 모델을 평가하여 성능 기준을 설정하였다.
• 생성 모델링을 위해 두 가지 신경 페인팅 방법을 적용하였다: 가분성 있는 스트로크를 사용한 내재적 스타일 전이와 Bézier 곡선 원소를 활용한 강화 학습 기반 페인팅 학습.
• 생성 모델은 참조 이미지를 인간의 예술적 과정을 연상시키는 방식으로 순차적인 페인팅 지시(예: 스트로크 또는 영역 기반)를 생성한다.

실험 결과

연구 질문

• RQ1 고대 일본 예술의 표준화된 고급 표정 데이터셋이 예술사 연구에서 이미지 분류 모델의 성능 향상과 재현 가능성 향상에 기여할 수 있는가?
• RQ2 스트로크 기반 신경 페인팅 모델은 기존 GAN과 비교해 역사적 예술 작품에서 예술적으로 설득력 있는 얼굴 이미지를 생성하는 데 얼마나 효과적인가?
• RQ3 인간의 인도적 편향(예: 순차적 스트로크 적용)을 가진 생성 모델이 KaoKore 얼굴의 시각적 일관성과 스타일적으로 설득력 있는 재구성 결과를 얼마나 잘 도출할 수 있는가?
• RQ4 KaoKore 데이터셋은 문화유산 응용 분야에서 분류 작업과 창의적 생성 모델링을 동시에 지원할 수 있는 이중 목적 자원으로 기능할 수 있는가?
• RQ5 다른 생성 메커니즘(예: 스트로크 기반 vs. 영역 기반)은 생성된 페인팅 시퀀스의 예술 스타일과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• KaoKore 데이터셋은 일관된 이미지 크기와 단순화된 구조화된 레이블을 갖추며, PyTorch와 TensorFlow 프레임워크 간의 딥러닝 파이프라인에 원활하게 통합될 수 있도록 표준화된 사용 가능한 형식을 달성하였다.
• KaoKore에서의 이미지 분류 기준 모델은 높은 정확도를 달성하여, 이 데이터셋이 예술사 분석의 분류 작업에 유용함을 입증하였다.
• GAN 기반 모델은 자연스럽고 인간의 예술적 과정과 일치하지 않는 오류를 유발하는 등, 예술적으로 설득력 있는 얼굴 이미지를 생성하지만, 그들의 인도적 편향에 한계가 있음을 드러내었다.
• 내재적 스타일 전이 모델은 사전 스케치 데이터 없이도 얼굴을 순차적이고 인간과 유사한 스트로크로 분해하는 데 성공하여, 예술적 원소를 효과적으로 학습함을 시사하였다.
• 페인팅 학습 모델은 추상적이고 영역 기반의 페인팅 시퀀스를 생성하여 구조적 구성에 중점을 두며, 추상 미술을 연상시키며 아티스틱 스타일 분해의 해석 가능성을 제공한다.
• 두 생성 모델은 서로 다른 예술 스타일을 생성한다: 스트로크 기반 모델은 선의 표현에 중점을 두고, 영역 기반 모델은 형태와 구성에 중점을 두며, 다양한 창의적 탐색의 잠재력을 보여준다.