[논문 리뷰] DeepFont: Identify Your Font from An Image

Zhangyang Wang, Shuicheng Yan외 5명|arXiv (Cornell University)|2015. 07. 12.

Video Analysis and Summarization참고 문헌 17인용 수 9

한 줄 요약

DeepFont은 대규모 데이터셋(AdobeVFR)과 스택드 컨volution 오토에인커(스택드 컨볼루션 오토에인커, SCAE)를 활용한 도메인 적응형 CNN을 사용하여 시각적 폰트 인식(VFR)을 위한 딥러닝 기반 시스템을 제안한다. 이는 시뮬레이션에서 실제 환경으로의 도메인 갭을 해소하며, 80% 이상의 상위 5개 정확도를 달성하고 손실 없는 모델 압축을 가능하게 하여 성능 손실 없이 모델 크기를 6배로 줄이며, 디자인 응용 프로그램을 위한 강력한 폰트 유사도 측정을 제공한다.

ABSTRACT

As font is one of the core design concepts, automatic font identification and similar font suggestion from an image or photo has been on the wish list of many designers. We study the Visual Font Recognition (VFR) problem, and advance the state-of-the-art remarkably by developing the DeepFont system. First of all, we build up the first available large-scale VFR dataset, named AdobeVFR, consisting of both labeled synthetic data and partially labeled real-world data. Next, to combat the domain mismatch between available training and testing data, we introduce a Convolutional Neural Network (CNN) decomposition approach, using a domain adaptation technique based on a Stacked Convolutional Auto-Encoder (SCAE) that exploits a large corpus of unlabeled real-world text images combined with synthetic data preprocessed in a specific way. Moreover, we study a novel learning-based model compression approach, in order to reduce the DeepFont model size without sacrificing its performance. The DeepFont system achieves an accuracy of higher than 80% (top-5) on our collected dataset, and also produces a good font similarity measure for font selection and suggestion. We also achieve around 6 times compression of the model without any visible loss of recognition accuracy.

연구 동기 및 목표

• 기존 방법의 성능을 제한하는 시각적 폰트 인식(VFR)을 위한 대규모 실세계 레이블 데이터의 부족 문제를 해결하기 위해.
• 기존 VFR 시스템에서 일반화 성능을 떨어뜨리는 합성 훈련 데이터와 실세계 테스트 이미지 간의 도메인 이탈 문제를 극복하기 위해.
• 정확도 손실 없이도 압축된, 구현 가능한 딥러닝 모델을 개발하기 위해.
• 디자인 소프트웨어에서 지능형 폰트 제안 및 브라우징을 위한 효과적인 폰트 유사도 측정을 가능하게 하기 위해.

제안 방법

• 레이블이 부여된 합성 폰트와 부분적으로 레이블이 부여된 실세계 이미지를 포함하는 AdobeVFR 데이터셋 구축으로, 첫 번째 대규모 VFR 기준이 되는 데이터셋을 마련하였다.
• 합성 데이터와 실세계 데이터 간의 특징 분포를 일치시키기 위해, 레이블이 없는 실세계 이미지를 사용하여 도메인 적응을 위한 스택드 컨볼루션 오토에인커(SCAE)를 적용하였다.
• fc6 레이어의 가중치 행렬에 정확한 저랭크 제약 조건을 강제 적용하여 손실 없는 압축을 가능하게 하는 학습 기반 모델 압축 방법을 설계하였다.
• 클래스 평균 벡터 간 유클리드 거리 계산을 통해, fc7 레이어의 특징(4096×1)을 고수준 시각적 표현으로 사용하여 폰트 유사도를 측정하였다.
• 성능 유지와 함께 압축을 반복적으로 수행하기 위해, 미세조정 중 하드 테이프링을 통합하였다.
• 두 단계 훈련 파이프라인을 도입: 합성 데이터에서의 사전 훈련 → 레이블이 없는 실세계 데이터를 사용한 SCAE 기반 도메인 적응

실험 결과

연구 질문

• RQ1 대규모 실세계 VFR 데이터셋은 폰트 인식 시스템의 성능을 크게 향상시킬 수 있는가?
• RQ2 SCAE를 통한 도메인 적응은 시각적 폰트 인식에서 시뮬레이션에서 실세계로의 도메인 갭을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 학습 기반 모델 압축 기법은 정확도 손실 없이도 높은 압축 비율을 달성할 수 있는가?
• RQ4 DeepFont에서 학습된 특징 표현은 디자인 응용 프로그램을 위한 의미 있는 폰트 유사도 측정을 가능하게 하는가?

주요 결과

• DeepFont 시스템은 실세계 테스트 세트에서 상위 5개 정확도가 80% 이상을 달성하여 기존 최고 수준을 크게 향상시켰다.
• SCAE 기반 도메인 적응 방법은 시뮬레이션에서 실세계로의 도메인 갭을 효과적으로 줄여 실세계 이미지로의 강력한 일반화를 가능하게 하였다.
• 제안된 손실 없는 모델 압축 방법은 fc6 레이어에서 5.79배의 압축 비율을 달성했으며, 성능 손실 없이도 유지되었고, k=100일 때 상위 5개 오차율은 18.21%를 유지하였다.
• 매우 압축된 '미니' DeepFont 모델(950만 파라미터, 40MB)은 상위 5개 오차율 약 22%를 기록하여 모바일 배포에 적합하다.
• fc7 특징 기반으로 생성된 신뢰할 수 있는 폰트 유사도 측정 방법은 기존 방법 대비 시각적 유사도 순위에서 정성적으로 열등한 결과를 내보내지 않았다.
• 모델 압축 방법은 특히 고압축 비율에서 전통적인 행렬 분해(손실 있는) 방법보다 뚜렷이 우수했으며, k=5일 때 1.4%p의 절대적 성능 향상을 기록했다.