[논문 리뷰] Trick or TReAT: Thematic Reinforcement for Artistic Typography

Purva Tendulkar, Kalpesh Krishna외 2명|arXiv (Cornell University)|2019. 03. 19.

Visual Culture and Art Theory참고 문헌 22인용 수 4

한 줄 요약

TReAT는 글자의 시각적 유사성과 주제적 관련성을 고려해 단어의 글자를 클립아트로 대체함으로써 예술적이고 주제 기반의 타이포그래피를 생성하는 비지도 학습 방법을 제안한다. 글자와 클립아트에 공통된 잠재 공간을 사용함으로써 시각적 유사성에 기반한 의미 강화를 가능하게 하여 인간 평가에서 단어 인식률 74%와 주제 인식률 67%를 달성하였으며, 참가자들은 결과물이 창의적이라고 평가했다.

ABSTRACT

An approach to make text visually appealing and memorable is semantic reinforcement - the use of visual cues alluding to the context or theme in which the word is being used to reinforce the message (e.g., Google Doodles). We present a computational approach for semantic reinforcement called TReAT - Thematic Reinforcement for Artistic Typography. Given an input word (e.g. exam) and a theme (e.g. education), the individual letters of the input word are replaced by cliparts relevant to the theme which visually resemble the letters - adding creative context to the potentially boring input word. We use an unsupervised approach to learn a latent space to represent letters and cliparts and compute similarities between the two. Human studies show that participants can reliably recognize the word as well as the theme in our outputs (TReATs) and find them more creative compared to meaningful baselines.

연구 동기 및 목표

• 의미를 주제 기반의 시각적 신호로 강화하는 예술적 타이포그래피를 생성하기 위한 계산 기반 방법을 개발하는 것.
• 시각적 유사성에 기반하여 글자와 클립아트를 자동으로 매칭함과 동시에 가독성을 유지하는 과제를 해결하는 것.
• 주어진 주제에서 유사한 클립아트를 사용하여 글자를 대체함으로써 의미 강화를 가능하게 하는 시스템을 구축하는 것.
• 생성된 TReAT의 효과성을 단어 인식률, 주제 인식률 및 창의성 인식 측면에서 평가하는 것.

제안 방법

• 모델은 다양한 폰트의 글자와 클립아트에 대해 공통 잠재 공간을 학습하기 위해 오토인코더를 사용하며, 재구성 정확도와 분류 기반 특징 학습을 모두 보장한다.
• 재구성 손실은 유사한 외관을 가진 이미지(글자 및 클립아트)가 잠재 공간 내에서 가까이 위치하도록 보장한다.
• 분류 손실은 서로 다른 글자가 클립아트로 대체된 경우에도 식별 가능하도록 분류 가능한 특징을 강제한다.
• 테스트 시점에선 각 글자에 대해 잠재 공간 거리 기반으로 Noun Project에서 가장 시각적으로 유사한 주제 관련 클립아트를 검색한다.
• 모델은 원본 글자에서 클립아트 대체물로의 모폴로지 변환을 지원하여 유창하고 읽기 쉬운 시각적 전환을 가능하게 한다.
• 사용자가 상위-k 클립아트 매칭 결과 중에서 선택하고 주제 관련성을 보완할 수 있도록 상호작용 인터페이스를 제안한다.

실험 결과

연구 질문

• RQ1 계산 기반 모델이 글자를 주제적으로 관련성 있고 시각적으로 유사한 클립아트로 대체하는 예술적 타이포그래피를 신뢰성 있게 생성할 수 있는가?
• RQ2 인간 관찰자가 생성된 TReAT에서 원래 단어와 주제를 얼마나 잘 인식할 수 있는가?
• RQ3 TReAT의 창의성 인식은 의미 있는 기준 모델과 비교해 어떻게 평가되는가?
• RQ4 자동 시각적 유사성 점수 평가의 실패 원인은 무엇이며, 클립아트 선택에 어떤 영향을 미치는가?

주요 결과

• 참가자들은 TReAT에서 원래 단어를 74%의 비율로 인식하였으며, 이는 시각적 변형에도 불구하고 강한 단어 가독성을 보여준다.
• 참가자들은 TReAT의 주제를 67%의 비율로 정확히 식별하였으며, 효과적인 주제 강화를 입증한다.
• 평균적으로 참가자들은 TReAT가 창의적이라고 '약간 동의'하였으며, 의미 있는 기준 모델보다 창의성 인식에서 뛰어난 성능을 보였다.
• 실패 케이스는 자동 유사성 점수 평가의 한계를 드러내었으며, 특히 주제적으로 관련성은 있지만 시각적 유사성이 낮은 클립아트의 경우 문제가 발생했다.
• 모폴로지 기능을 통해 원본 글자에서 클립아트 대체물로의 전환이 부드럽게 이루어져 가독성과 관심을 높였다.
• 참가자들은 관련 없는 클립아트나 표준 기호의 부재(예: '목사'에 대한 십字) 문제를 지적하며, 주제 관련성 통합의 필요성을 강조했다.