[論文レビュー] Chinese Text in the Wild

Tailing Yuan, Zhe Zhu+3 more|arXiv (Cornell University)|Feb 28, 2018

Handwritten Text Recognition Techniques参考文献 1被引用数 17

ひとこと要約

本稿では、32,285枚のストリートビュー画像にまたがる100万文字のアノテーションを含む、大規模な中国語テキストのデータセット「Chinese Text in the Wild (CTW)」を紹介する。このデータセットは、隠蔽、照明の悪さ、テキストスタイルの多様性といった多様な課題を含む。最先端のモデルを用いて、認識ではGoogle Inceptionを用い80.5%のtop-1精度を達成し、検出ではYOLOv2を用い71.0%のmAPを達成し、自然画像における中国語テキスト認識分野の新記録を樹立した。

ABSTRACT

We introduce Chinese Text in the Wild, a very large dataset of Chinese text in street view images. While optical character recognition (OCR) in document images is well studied and many commercial tools are available, detection and recognition of text in natural images is still a challenging problem, especially for more complicated character sets such as Chinese text. Lack of training data has always been a problem, especially for deep learning methods which require massive training data. In this paper we provide details of a newly created dataset of Chinese text with about 1 million Chinese characters annotated by experts in over 30 thousand street view images. This is a challenging dataset with good diversity. It contains planar text, raised text, text in cities, text in rural areas, text under poor illumination, distant text, partially occluded text, etc. For each character in the dataset, the annotation includes its underlying character, its bounding box, and 6 attributes. The attributes indicate whether it has complex background, whether it is raised, whether it is handwritten or printed, etc. The large size and diversity of this dataset make it suitable for training robust neural networks for various tasks, particularly detection and recognition. We give baseline results using several state-of-the-art networks, including AlexNet, OverFeat, Google Inception and ResNet for character recognition, and YOLOv2 for character detection in images. Overall Google Inception has the best performance on recognition with 80.5% top-1 accuracy, while YOLOv2 achieves an mAP of 71.0% on detection. Dataset, source code and trained models will all be publicly available on the website.

研究の動機と目的

• 自然画像における中国語テキスト認識および検出のための、大規模かつ多様な学習データの不足に対処すること。
• 隠蔽、照明の変動、テキストスタイルの多様性といった現実世界の複雑さを捉えたベンチマークデータセットを構築すること。
• 深層ニューラルネットワークを用いた文字認識および検出の最先端のベースラインモデルを提供すること。
• 現実世界の条件下における耐障害性の高い中国語テキスト検出および認識の分野における研究を促進すること。

提案手法

• 騰訊ストリートビューから抽出した32,285枚のストリートビュー画像に、1,018,402個の中国語文字インスタンスを含め、バウンディングボックスおよび1文字あたり6つの属性をアノテーションした。
• Google Inception、ResNet、AlexNet、OverFeatを用いて文字認識を実施し、入力を文字レベルの領域に切り取った。
• 入力解像度の変更および重複する部分を含むサブ画像を用いたマルチスケール推論戦略を採用することで、YOLOv2を検出に適応させた。
• 複数のサブ画像入力からの検出結果を統合し、局所化精度を向上させるために、非最大抑制（non-maximum suppression）を適用した。
• 高解像度画像（2048×2048）を、より小さい重複するサブ画像（168×168および304×304）に分割し、マルチスケール検出を実現した。
• 1001種類の文字カテゴリ（希少文字用に専用の「others」クラスを含む）を用いたデータセットの分割を用いて、学習およびテストを実施した。

実験結果

リサーチクエスチョン

• RQ1 最先端の深層学習モデルは、現実的で制約のない画像における中国語テキストの検出および認識において、どの程度の性能を示すか？
• RQ2 遮蔽、フォントスタイル、背景の複雑さといったテキスト属性ごとに、モデルの性能はどのように変化するか？
• RQ3 大規模かつ多様なデータセットは、中国語テキスト認識および検出システムの耐障害性を顕著に向上させることができるか？
• RQ4 自然シーンにおける小さな、遠く離れた、または部分的に隠蔽された中国語文字を検出する際の主な課題は何か？

主な発見

• Google Inceptionは、CTWデータセットにおいて80.5%のtop-1認識精度を達成し、最高の性能を示した。
• YOLOv2は、複雑なシーンにおいても良好な一般化性能を示し、文字検出で71.0%の平均平均精度（mAP）を達成した。
• 検出性能は属性によって顕著に変動し、遮蔽された文字では再現率が56.7%、手書き文字では53.8%にとどまり、より困難であることが示された。
• 浮き出し文字（raised characters）は平面テキスト（69.4%）よりもわずかに高い再現率（70.1%）を示し、構造的特徴が強いためと推定される。
• 最も頻出する10文字では、APスコアが80.3%〜90.3%の間で安定しており、一般的な文字に対して優れた性能を示した。
• マルチスケール推論戦略により、小規模および大規模な文字の検出性能が向上し、サイズ範囲にわたる精度-再現率曲線が一貫した性能を示した。