[論文レビュー] DeepFont: Identify Your Font from An Image

Zhangyang Wang, Shuicheng Yan+5 more|arXiv (Cornell University)|Jul 12, 2015

Video Analysis and Summarization参考文献 17被引用数 9

ひとこと要約

DeepFontは、大規模なデータセット（AdobeVFR）とドメイン適応型畳み込みニューラルネットワーク（CNN）を用いた深層学習ベースの視覚的フォント認識（VFR）システムを提案する。さらに、スタックド畳み込みオートエンコーダー（SCAE）を用いてシミュレーションと実世界のドメインギャップを埋め、80%以上のトップ5精度を達成するとともに、性能を損なわずにモデルサイズを6倍に圧縮する損失なしのモデル圧縮を実現。また、デザイン応用向けに頑健なフォント類似度測定を提供する。

ABSTRACT

As font is one of the core design concepts, automatic font identification and similar font suggestion from an image or photo has been on the wish list of many designers. We study the Visual Font Recognition (VFR) problem, and advance the state-of-the-art remarkably by developing the DeepFont system. First of all, we build up the first available large-scale VFR dataset, named AdobeVFR, consisting of both labeled synthetic data and partially labeled real-world data. Next, to combat the domain mismatch between available training and testing data, we introduce a Convolutional Neural Network (CNN) decomposition approach, using a domain adaptation technique based on a Stacked Convolutional Auto-Encoder (SCAE) that exploits a large corpus of unlabeled real-world text images combined with synthetic data preprocessed in a specific way. Moreover, we study a novel learning-based model compression approach, in order to reduce the DeepFont model size without sacrificing its performance. The DeepFont system achieves an accuracy of higher than 80% (top-5) on our collected dataset, and also produces a good font similarity measure for font selection and suggestion. We also achieve around 6 times compression of the model without any visible loss of recognition accuracy.

研究の動機と目的

• 視覚的フォント認識（VFR）のための大規模かつ現実世界のラベル付きデータの不足が、既存手法の性能を制限しているという問題に取り組む。
• 合成データで訓練したモデルと現実世界のテスト画像との間のドメインシフトが、従来のVFRシステムの一般化性能を低下させることを克服する。
• 認識精度を損なわずに、コンパクトでデプロイ可能な深層学習モデルをVFR用に開発する。
• デザインソフトウェアにおける知能的なフォント提案およびブラウジングのための効果的なフォント類似度測定を可能にする。

提案手法

• ラベル付き合成フォントと部分的にラベル付きの現実世界画像を含むAdobeVFRデータセットの構築により、最初の大規模VFRベンチマークを形成する。
• 未ラベルの現実世界画像を用いて、合成データと現実データの特徴分布を一致させるために、スタックド畳み込みオートエンコーダー（SCAE）を用いたドメイン適応の適用。
• fc6層重み行列に正確な低ランク制約を課すことで、損失なしの圧縮を実現する学習ベースのモデル圧縮手法の設計。
• クラス平均ベクトル間のユークリッド距離を用いて、高レベルの視覚的表現（fc7層特徴、4096×1）からフォント類似度を計算。
• 微調整中にハードスレッショルドイングを適用し、性能を維持しながらfc6層を段階的に圧縮。
• 2段階のトレーニングパイプラインの採用：合成データでの事前学習の後、未ラベルの現実データを用いたSCAEによるドメイン適応。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ現実世界のVFRデータセットは、フォント認識システムの性能を顕著に向上させることができるか？
• RQ2 SCAEを用いたドメイン適応は、視覚的フォント認識におけるシミュレーションから実世界へのドメインギャップをどの程度効果的に低減できるか？
• RQ3 学習ベースのモデル圧縮技術は、認識精度を保持したまま高い圧縮比を達成できるか？
• RQ4 DeepFontが学習した特徴表現は、デザイン応用における意味のあるフォント類似度測定を可能にするか？

主な発見

• DeepFontシステムは、現実世界のテストセットにおいてトップ5認識精度が80%以上に達し、最先端技術を顕著に上回る。
• SCAEを用いたドメイン適応手法は、シミュレーションから実世界へのドメインギャップを効果的に低減し、現実世界の画像への頑健な一般化を可能にする。
• 提案された損失なしのモデル圧縮手法は、fc6層で5.79倍の圧縮比を達成し、性能に顕著な損失なしに維持され、k=100でのトップ5誤差率は18.21%を維持する。
• パrameter数がたった950万（40 MB）の「ミニ」DeepFontモデルは、トップ5誤差率が約22%にとどまり、モバイルデプロイメントに適している。
• fc7特徴に基づくフォント類似度測定は、先行手法と比較して視覚的類似度ランク付けにおいて質的に優れた結果を生み出す。
• モデル圧縮手法は、特に高圧縮比において、従来の行列分解（損失あり）手法を常に上回り、k=5での絶対誤差改善が1.4%に達する。