[논문 리뷰] StrokeCoder: Path-Based Image Generation from Single Examples using Transformers

Sabine Wieluch, Friedhelm Schwenker|arXiv (Cornell University)|2020. 03. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 4

한 줄 요약

StrokeCoder는 단일 수작업 스케치에서 다양하고 스타일을 유지하는 경로 기반 이미지를 생성하는 Transformer 기반 생성 모델을 제안한다. 한 예시에 경로 변환을 적용하고 동적 데이터 셔플링을 사용한 Transformer 인코더를 훈련시킴으로써, 핵심 스타일적 특성을 유지하면서도 다양한 일관성 있는 스케치를 생성한다. 인간 평가를 통해 평균 스타일 이탈도 12개의 어휘 중 2.94로 검증되었다.

ABSTRACT

This paper demonstrates how a Transformer Neural Network can be used to learn a Generative Model from a single path-based example image. We further show how a data set can be generated from the example image and how the model can be used to generate a large set of deviated images, which still represent the original image's style and concept.

연구 동기 및 목표

• 단일 예시 스케치만을 사용하여 경로 기반 이미지를 생성하는 일방적 생성 모델을 개발하는 것.
• 다양한 변형을 생성하면서도 원본 스케치의 스타일과 개념적 구조를 유지하는 것.
• 최소한의 훈련 데이터로도 창의적 디자인 지원 도구 및 디지털 제조 워크플로우를 가능하게 하는 것.
• 경로 기반 이미지 합성에서 시퀀스 생성에 대해 Transformer의 효과를 탐색하는 것.

제안 방법

• 각 스케치를 선분의 시퀀스로 표현하고, 이를 단일 토큰 시퀀스로 평탄화하여 Transformer에 입력한다.
• 학습된 위치 인코딩을 사용한 Transformer 인코더를 활용해 스트로크 경로의 순차적 의존성을 모델링한다.
• 원본 스케치에 경로 수정 변환(예: 스케일링, 회전, 뒤집기)을 적용하여 합성 훈련 데이터를 생성한다.
• 훈련 에포크 동안 동적 데이터 셔플링을 구현하여 제한된 예시에 대한 과적합을 방지한다.
• 추론 시 다양한 k값을 사용한 상위-k 샘플링을 적용하여 다양성과 정확성 간의 트레이드오프를 제어한다.
• 스트로크 시퀀스에 단어 임베딩 방식의 벡터화를 적용한 후, 토큰 예측을 위한 선형 및 소프트맥스 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 단일 예시 스케치로 다양하고 스타일 일관성 있는 경로 기반 이미지를 생성하는 생성 모델을 훈련시킬 수 있는가?
• RQ2 이 맥락에서 디코더 없이 Transformer 인코더만을 사용한 시퀀스 생성에 있어 효과는 어떠한가?
• RQ3 데이터 증강과 동적 데이터 셔플링이 한 예시에서의 모델 일반화에 어떤 영향을 미치는가?
• RQ4 다양한 샘플링 전략(예: k=1 대비 k=10)은 생성된 스케치의 다양성과 품질에 어떤 영향을 미치는가?
• RQ5 생성된 이미지가 원본 스케치의 스타일적 특성을 어느 정도 유지하는가?

주요 결과

• 데이터 증강과 동적 훈련 셔플링을 통해 단일 스케치에서 다양하고 일관성 있는 경로 기반 이미지를 성공적으로 생성하였다.
• 상위-k 샘플링에서 k=10을 사용할 경우 탐욕적 샘플링(k=1)보다 유의미하게 더 다양한 이미지를 생성했지만, 약간의 스타일 일관성 손실이 있었다.
• 탐욕적 샘플링(k=1)은 반복적이고 다양성이 낮은 출력을 낳았지만, 원본 스타일과의 높은 일치도를 보였다.
• 인간 평가 결과 평균 스타일 이탈도 12개의 어휘 중 2.94로, 핵심 스타일적 특성의 강력한 유지가 확인되었다.
• 특히 '상자'와 '스パイ크'와 같은 대칭적 또는 구조적인 스케치에서 정확한 스트로크 위치와 공간 배치를 재현하는 데 모델이 가장 어려움을 겪었다.
• 초기화 벡터 길이를 시퀀스 길이의 절반으로 설정할 경우 최적의 성능을 보였으며, 이는 모델의 명확성과 시퀀스 이해 능력 간의 균형을 잘 맞추었다.