[論文レビュー] End-to-end Handwritten Paragraph Text Recognition Using a Vertical Attention Network

Denis Coquenet, Clément Chatelain+1 more|arXiv (Cornell University)|Dec 7, 2020

Handwritten Text Recognition Techniques被引用数 9

ひとこと要約

本稿では、縦方向アテンションネットワーク（VAN）を用いた、エンドツーエンドで、セグメンテーションを不要とする手書き段落認識モデルを提案する。このモデルは、コンテンツおよび位置に基づくハイブリッドアテンション機構を採用し、線分離を暗黙的に行い、逐次的にテキストをデコードする。本手法は、RIMESで1.91%、IAMで4.45%、READ 2016で3.59%の最先端の文字誤り率を達成し、明示的な線分離やマルチステージ学習を必要としないにもかかわらず優れた性能を示している。

ABSTRACT

Unconstrained handwritten text recognition remains challenging for computer vision systems. Paragraph text recognition is traditionally achieved by two models: the first one for line segmentation and the second one for text line recognition. We propose a unified end-to-end model using hybrid attention to tackle this task. This model is designed to iteratively process a paragraph image line by line. It can be split into three modules. An encoder generates feature maps from the whole paragraph image. Then, an attention module recurrently generates a vertical weighted mask enabling to focus on the current text line features. This way, it performs a kind of implicit line segmentation. For each text line features, a decoder module recognizes the character sequence associated, leading to the recognition of a whole paragraph. We achieve state-of-the-art character error rate at paragraph level on three popular datasets: 1.91% for RIMES, 4.45% for IAM and 3.59% for READ 2016. Our code and trained model weights are available at https://github.com/FactoDeepLearning/VerticalAttentionOCR.

研究の動機と目的

• 明示的な線分離に依存し、誤りの蓄積を起こすことが問題視される従来の2段階型手書き段落認識システムの限界を解消すること。
• トレーニング時に高コストで手作業でラベル付けされた線レベルのセグメンテーションラベルを必要としないようにすること。
• アテンション機構を用いて、線分離とテキスト認識を1つのエンドツーエンドで学習可能なモデルに統合すること。
• 再帰的アテンション機構を通じて、読み順およびテキストラインの局所化を暗黙的に学習すること。
• ライン画像での事前学習を活用することで、認識精度と収束性を向上させつつ、完全な段落レベルの推論を維持すること。

提案手法

• 全段落画像から2次元特徴マップを抽出するための、完全畳み込みネットワークに基づくエンコーダーで、空間的および文字レベルの情報を保持する。
• ハイブリッドアテンション機構が垂直方向の重みマスクを生成し、特定の特徴の行に注目することで、暗黙的な線の局所化とセグメンテーションを可能にする。
• アテンション機構は再帰的であり、読み順に1行ずつ処理し、コンテンツ情報と位置情報の両方を用いる。
• デコーダーは再帰的ニューラルネットワークとして実装され、各注目されたライン表現から文字列を変換する。
• トレーニング中に予測シーケンスと正解トランスクリプションを一致させるために、Connectionist Temporal Classification（CTC）損失を使用する。
• 全段落データでのファインチューニングの前に、ライン画像での事前学習を用いて収束性と最終的な認識精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、明示的なセグメンテーションの監視なしに、暗黙的な線分離とテキスト認識を効果的に行えるか？
• RQ2 コンテンツと位置情報を組み合わせたハイブリッドアテンション機構は、標準的なアテンションと比較して、段落レベルの認識性能をどのように向上させるか？
• RQ3 ライン画像での事前学習が、エンドツーエンドの段落認識モデルの性能にどの程度寄与するか？
• RQ4 エンドツーエンドでセグメンテーションを不要とするアプローチが、従来の2段階型システムと比較して、精度と頑健性の面で優れているか？
• RQ5 明示的なレイアウトモデリングなしに、変動する行間隔や傾きを含む多様なレイアウト変化に対し、モデルはどの程度一般化性能を示せるか？

主な発見

• 提案された縦方向アテンションネットワークは、RIMESデータセットで1.91%という最先端の文字誤り率を達成し、先行手法を上回っている。
• IAMデータセットでは、4.45%の文字誤り率を達成し、多様な筆跡スタイルへの強力な一般化性能を示している。
• READ 2016データセットでは、3.59%の文字誤り率を達成し、困難な実世界の段落画像に対しても有効性が確認された。
• 別個の線分離と認識ステージを排除することで、誤りの蓄積が顕著に低減された。
• ライン画像での事前学習により収束性と最終的な認識精度が向上し、モデルの優れた性能に寄与している。