[論文レビュー] Real-World Font Recognition Using Deep Network and Domain Adaptation

Zhangyang Wang, Shuicheng Yan+5 more|arXiv (Cornell University)|Mar 31, 2015

Advanced Image and Video Retrieval Techniques参考文献 6被引用数 5

ひとこと要約

本稿では、合成学習データと現実世界のテスト画像の間のドメインギャップを埋めるために、スタックド畳み込み自己符号化器（SCAE）を用いた深層ドメイン適応手法を提案する。ラベルなしの合成画像と現実世界の画像の両方で最初の2つの畳み込み層を共同で事前学習し、残りの層をラベル付きの合成データで微調整することで、VFRWild325ベンチマークで20.62%のトップ5誤差を達成し、先行手法を顕著に上回る性能を発揮する。

ABSTRACT

We address a challenging fine-grain classification problem: recognizing a font style from an image of text. In this task, it is very easy to generate lots of rendered font examples but very hard to obtain real-world labeled images. This real-to-synthetic domain gap caused poor generalization to new real data in previous methods (Chen et al. (2014)). In this paper, we refer to Convolutional Neural Networks, and use an adaptation technique based on a Stacked Convolutional Auto-Encoder that exploits unlabeled real-world images combined with synthetic data. The proposed method achieves an accuracy of higher than 80% (top-5) on a real-world dataset.

研究の動機と目的

• 合成学習データと現実世界のテスト画像の間のドメインギャップによる分類性能の劣化という課題に対処すること。
• 限られたラベル付き現実世界データを用いて、現実世界のデータにおける細分化されたフォント分類性能を向上させること。
• 大規模な合成データとラベルなしの現実世界画像を組み合わせることで、モデルのロバスト性を向上させること。
• 高価な現実世界のアノテーションに依存しないようにするために、教師なしドメイン適応技術を活用すること。

提案手法

• ラベルなしの合成画像と現実世界のテキスト画像の組み合わせを用いて、スタックド畳み込み自己符号化器（SCAE）を学習させ、共通の低レベルの視覚的特徴を学習する。
• SCAEの最初のK=2つの畳み込み層を、ImageNetモデルを模したCNNアーキテクチャに移行し、共有の特徴エンコーダーを構築する。
• CNNの残りのN−K層を、2,383個のラベル付きの合成フォントクラスを用いて標準的なバックプロパゲーションで教師あり学習する。
• 文字間隔やアスペクト比の変更、ぼかし、ノイズ、陰影の付加といったラベルを保持するデータ拡張を合成学習データに適用し、ドメインへのロバスト性を向上させる。
• SCAEは対称的なアーキテクチャで初期化され、入力と再構成されたパッチの間の平均二乗誤差（MSE）を用いて学習される。
• 混合ドメインにおける教師なし事前学習と教師あり微調整を組み合わせることで、現実世界の分布シフトへの効果的な適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの現実世界例が存在しない状況でも、合成フォントデータで学習した深層ニューラルネットワークが、現実世界のフォント認識に効果的に一般化できるか？
• RQ2 スタックド畳み込み自己符号化器（SCAE）は、合成画像と現実世界のテキスト画像の間で共通の低レベル特徴を学習するのにどの程度有効か？
• RQ3 ラベルを保持するデータ拡張（例えば、文字間隔やアスペクト比の変更、ぼかしやノイズ、陰影の付加）は、フォント認識におけるドメインギャップをどの程度低減できるか？
• RQ4 ラベルなしの現実世界データと合成データを共同で事前学習することで、完全に合成データでの学習に比べて、現実世界ベンチマークにおけるトップ1およびトップ5の正確性が向上するか？

主な発見

• 提案手法は、現実世界のフォント認識ベンチマークVFRWild325で20.62%のトップ5誤差を達成し、ベースライン手法LFEを顕著に上回る性能を発揮した。
• LFEベースラインに比べ、トップ1誤差は6パーセンテージポイント、トップ5誤差は10パーセンテージポイント改善された。
• 合成データおよびラベルなしの現実世界データを用いたSCAEの事前学習により、現実世界のテスト画像への一般化性能が顕著に向上した。
• ラベルを保持するデータ拡張（例えば、間隔やアスペクト比の変更、ぼかしやノイズ、陰影の付加）により、モデルの現実世界の変動へのロバスト性が顕著に向上した。
• SCAEを用いた教師なしドメイン適応により、細分化されたフォント認識における合成データから現実世界へのドメインギャップを効果的に埋め合わせられることを示した。
• 性能向上の要因は、両ドメインに共通する視覚的パターンを捉える初期のCNN層における共有特徴学習に起因する。