[論文レビュー] OrigamiNet: Weakly-Supervised, Segmentation-Free, One-Step, Full Page Text Recognition by learning to unfold

Mohamed Yousef, Tom E. Bishop|arXiv (Cornell University)|Jun 12, 2020

Handwritten Text Recognition Techniques参考文献 28被引用数 9

ひとこと要約

OrigamiNetは、2次元のテキストレイアウトを1次元のシーケンスに暗黙的に展開する方法を学習することで、任意の完全畳み込み型1行テキスト認識器に1ステップで全ページ認識を可能にする、新しい弱教師付き、セグメンテーション不要、1ステップ型のニューラルネットワークモジュールを導入する。これは、セグメンテーションされていない画像-テキストペアと1回の順伝播のみを用いて、IAMおよびICDAR 2017ベンチマークで最先端の文字誤り率（CER）を達成する。

ABSTRACT

Text recognition is a major computer vision task with a big set of associated challenges. One of those traditional challenges is the coupled nature of text recognition and segmentation. This problem has been progressively solved over the past decades, going from segmentation based recognition to segmentation free approaches, which proved more accurate and much cheaper to annotate data for. We take a step from segmentation-free single line recognition towards segmentation-free multi-line / full page recognition. We propose a novel and simple neural network module, termed extbf{OrigamiNet}, that can augment any CTC-trained, fully convolutional single line text recognizer, to convert it into a multi-line version by providing the model with enough spatial capacity to be able to properly collapse a 2D input signal into 1D without losing information. Such modified networks can be trained using exactly their same simple original procedure, and using only extbf{unsegmented} image and text pairs. We carry out a set of interpretability experiments that show that our trained models learn an accurate implicit line segmentation. We achieve state-of-the-art character error rate on both IAM \& ICDAR 2017 HTR benchmarks for handwriting recognition, surpassing all other methods in the literature. On IAM we even surpass single line methods that use accurate localization information during training. Our code is available online at \url{https://github.com/IntuitionMachines/OrigamiNet}.

研究の動機と目的

• 全ページ手書きテキスト認識における明示的なテキストラインセグメンテーションの必要性を排除すること。
• ラインレベルのアノテーションが一切不要な状態で、複数行テキスト認識器のエンドツーエンド学習を可能にすること。
• 任意の1行ベースのCTC認識器を全ページ認識器に変換できる、シンプルで即座に統合可能なモジュールを開発すること。
• モデルが局所化の教師信号を一切受けずに、正確なラインセグメンテーションを暗黙的に学習できることを示すこと。
• ラインレベルのアノテーションや複雑な学習手法を一切必要としない状態で、全ページ手書き認識ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、2次元入力特徴を1次元シーケンス表現に変換するために、空間的ボトルネックとアップサンプリングを適用するニューラルネットワークサブモジュール「OrigamiNet」を導入する。
• CTC損失関数を活用し、自然に1次元のアライメントを促進することで、モデルが2次元空間的配置を1次元の文字シーケンスに圧縮する方法を学習する。
• 既存の完全畳み込み型1行テキスト認識器に本モジュールを追加することで、1回の順伝播で全ページ画像を処理できるようにする。
• モデルは、ライン境界や語レベルのアノテーションが不要な、セグメンテーションされていない画像とテキストペアのみを用いて学習する。
• 本手法は、再帰層を避けて完全に順方向接続に依存しており、効率的で1ステップの推論を可能にする。
• 解釈可能性は、各文字の出力が入力画像のどの空間領域に対応するかを可視化する勾配ベースの帰属度マップを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 教師なしのライン境界アノテーションのもとで、ニューラルネットワークが複数行のテキストレイアウトを、ラインごとのセグメンテーションとして暗黙的に学習できるか？
• RQ2 1回の統合的ネットワーク順伝播で、明示的なラインセグメンテーションを用いる手法を上回る性能で全ページ認識を達成できるか？
• RQ3 空間的展開モジュールを備えたCTCベースのアーキテクチャが、弱教師付きでセグメンテーションされていないデータで学習した場合、精度を維持または向上できるか？
• RQ4 微調整なしで、歪み、接触、回転したテキストラインを含む困難なドキュメントレイアウトに対しても、モデルは一般化できるか？
• RQ5 教師なしの状態でも、モデルが学習する暗黙のラインセグメンテーションは解釈可能で空間的に正確であるか？

主な発見

• 750×750の入力解像度を用いた場合、OrigamiNetはIAMデータセットで5.5％の最先端の文字誤り率（CER）を達成し、ラインレベルのアノテーションを用いた先行研究を上回る。
• ICDAR 2017 HTRベンチマークでは、GTR-12 OrigamiNetモデルがCER 4.7％を達成し、ライン区切りアノテーションを完全に使用したすべての先行手法を上回る。
• 500×500の入力解像度でもIAMでCER 5.6％を達成し、低解像度でも優れた性能を示している。
• 解釈可能性実験の結果、勾配帰属度マップが文字をその対応するラインに明確に局所化しており、モデルが正確な暗黙のラインセグメンテーションを学習していることが示された。
• 接触ラインや歪んだテキストなどの合成歪みに対しても、微調整なしで良好な一般化性能を維持しており、ロバストであることが確認された。
• 水平反転された画像と転写文を用いて学習した場合でも、同等の性能を達成しており、モデルがデータから読み順序を学習していることが確認された。