[論文レビュー] HWNet v2: An Efficient Word Image Representation for Handwritten Documents

Praveen Krishnan, C. V. Jawahar|arXiv (Cornell University)|Feb 17, 2018

Handwritten Text Recognition Techniques参考文献 85被引用数 5

ひとこと要約

HWNet v2 は、修正された ResNet-34 アーキテクチャと領域の注目プーリング（RoIPooling）を備えた深層畳み込みニューラルネットワークを提案し、手書きおよび印刷済みの単語画像のコン act 32次元の包括的表現を学習する。合成データの事前学習と現実的なデータ拡張を活用することで、言語やドキュメント形式の多様な状況においても耐性と一般化性能が向上し、IAM データセット上で最先端の単語スポットティング性能（mAP 0.90）を達成した。

ABSTRACT

We present a framework for learning an efficient holistic representation for handwritten word images. The proposed method uses a deep convolutional neural network with traditional classification loss. The major strengths of our work lie in: (i) the efficient usage of synthetic data to pre-train a deep network, (ii) an adapted version of the ResNet-34 architecture with the region of interest pooling (referred to as HWNet v2) which learns discriminative features for variable sized word images, and (iii) a realistic augmentation of training data with multiple scales and distortions which mimics the natural process of handwriting. We further investigate the process of transfer learning to reduce the domain gap between synthetic and real domain, and also analyze the invariances learned at different layers of the network using visualization techniques proposed in the literature. Our representation leads to a state-of-the-art word spotting performance on standard handwritten datasets and historical manuscripts in different languages with minimal representation size. On the challenging IAM dataset, our method is first to report an mAP of around 0.90 for word spotting with a representation size of just 32 dimensions. Furthermore, we also present results on printed document datasets in English and Indic scripts which validates the generic nature of the proposed framework for learning word image representation.

研究の動機と目的

• 手書きおよび印刷済みのドキュメントにおいて、語彙的および意味的情報を保持するコン pact な包括的単語画像表現を開発すること。
• 合成データと実際の手書きドキュメント画像の間のドメインギャップを、効果的なデータ拡張とトランスファー学習によって低減すること。
• 歴史的文書やマルチスクリプトドキュメントを含む低リソースおよび劣化したドキュメント状況においても、耐障害性のある単語スポットティングを可能にすること。
• 多様な言語やスクリプトに適用可能な汎用的かつ転移可能なフレームワークを構築すること。
• リアルタイムの検索および下流の NLP タスクに適した、軽量で効率的な表現（32D）を提供すること。

提案手法

• 可変サイズの単語画像に対応するため、領域の注目プーリング（RoIPooling）を組み込んだ修正された ResNet-34 アーキテクチャ。
• 一般化可能な特徴を学習するため、大規模な合成手書き単語データセット（iiit-hws）を用いた事前学習。
• エラスティック歪み、アフィン変換（回転、ねじれ、パディング）およびバウンディングボックスのジャイタブルを用いたリアルタイムのデータ拡張により、自然な手書きのばらつきを模倣。
• 教師あり分類損失を用いた実データセットでのファインチューニングにより、実世界のドメイン特性に適応。
• 安定した学習のため、He の重み初期化とモーメンタムを用いた確率的勾配降下法の使用。
• 最終全結合層を用いた特徴抽出により、1枚の単語画像ごとに 32次元の記述子を出力。

実験結果

リサーチクエスチョン

• RQ1 合成データで学習した深層畳み込みニューラルネットワークは、実際の手書きおよび印刷済みドキュメントに一般化可能な、判別性の高い低次元表現を学習できるか？
• RQ2 データ拡張は、自然な手書きのばらつきを模倣し、合成データと実データの間のドメインギャップを低減するのにどの程度効果的か？
• RQ3 ネットワークの異なる層で学習される不変性は何か、そしてそれらが耐障害性のある単語スポットティングにどのように寄与するか？
• RQ4 提案された表現は、最小限の次元数で、現代のドキュメントと歴史的ドキュメントの両方のデータセットで最先端の性能を達成できるか？
• RQ5 再トレーニングなしで、言語やスクリプトをまたいでモデルをどれほど転送可能にすることができるか？

主な発見

• HWNet v2 は、IAM データセットにおける単語スポットティングで、32次元の表現のみを用いても mAP 0.90 を達成し、新たな最先端性能を樹立した。
• 英語、ヒンディー語、テルグ語の印刷済みドキュメントデータセットにおいても高い性能を発揮し、スクリプトやモダリティを越えた一般化能力を示した。
• ヒンディー語およびテルグ語のデータセットでのファインチューニングにより、性能が著しく向上したため、低リソースおよびスクリプトが異なる状況への適応可能性が裏付けられた。
• 定性的な結果から、セグメンテーションノイズや劣化に対して耐性があり、視覚的ばらつきが存在しても検索された単語は語彙的に類似していることが示された。
• 1枚の画像あたり約 10 ミリ秒で単語表現を計算可能であり、リアルタイム応用が可能である。
• iiit-hws の合成データセット、事前学習済みモデル、コードの公開により、ドキュメント処理タスクにおける再現性と広範な採用が可能になった。