[論文レビュー] Improving Long Handwritten Text Line Recognition with Convolutional Multi-way Associative Memory

Duc Dung Nguyen, Nhan Viet Tran+1 more|arXiv (Cornell University)|Nov 5, 2019

Handwritten Text Recognition Techniques参考文献 42被引用数 4

ひとこと要約

本稿では、外部メモリモジュールを統合したマルチウェイアソシエイティブアクセスとリファイニングステップを備えた、メモリ拡張型CRNNアーキテクチャである畳み込みマルチウェイ連想記憶（CMAM）を提案する。CMAMは、長大で複雑な日本語の手書きテキストライン認識を向上させ、特に長文の文脈下で、標準的なCRNNやDNCよりも顕著に文字誤り率（CER）を低減する。最大で14%のCER低減が達成された。

ABSTRACT

Convolutional Recurrent Neural Networks (CRNNs) excel at scene text recognition. Unfortunately, they are likely to suffer from vanishing/exploding gradient problems when processing long text images, which are commonly found in scanned documents. This poses a major challenge to goal of completely solving Optical Character Recognition (OCR) problem. Inspired by recently proposed memory-augmented neural networks (MANNs) for long-term sequential modeling, we present a new architecture dubbed Convolutional Multi-way Associative Memory (CMAM) to tackle the limitation of current CRNNs. By leveraging recent memory accessing mechanisms in MANNs, our architecture demonstrates superior performance against other CRNN counterparts in three real-world long text OCR datasets.

研究の動機と目的

• 長大な手書きテキストラインを処理する際のCRNNにおける勾配消失／爆発問題に対処すること。
• RNNベースのデコーダーが手書きテキストにおける長距離の文脈的依存関係を捉えることの制限を克服すること。
• メモリ拡張ニューラルネットワーク（MANNs）をインspiredした外部メモリモジュールを統合することで、手書き認識におけるシーケンスモデリングを向上させること。
• メモリ拡張アーキテクチャが、長大で複雑なテキスト認識タスクにおいて標準的なCRNNを上回ることを実証すること。
• 提案されたCMAMモデルを多様なデータセットで評価し、言語やテキスト長にわたる堅牢性と一般化性能を検証すること。

提案手法

• 標準的なRNNベースのデコーダーに代えて、外部メモリモジュールを畳み込み再帰ニューラルネットワーク（CRNN）に統合すること。
• 2つのヘッド（書き込みと読み取り）を持つコントローラーネットワークを採用し、微分可能アテンションを介してメモリへのアクセスを制御すること。
• 複数のメモリスロットを同時にアクセス可能なマルチウェイアソシエイティブメモリアクセスを実装し、文脈モデリングの向上を図ること。
• 複数のタイムステップにわたって繰り返しリファイニングステップ（l=1）を適用し、メモリ読み取りの正確性と特徴表現を向上させること。
• シーケンス対シーケンスのアライメントを実現するため、接続主義的時系列分類（CTC）損失を用いてエンドツーエンドでモデルを訓練すること。
• データ効率を向上させるために、事前学習段階として合成日本語テキスト画像（100,000サンプル）を用い、その後に実際のスキャンドキュメントで微調整すること。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張アーキテクチャは、標準的なCRNNを上回る長文手書き認識性能を実現できるか？
• RQ2 マルチウェイアソシエイティブメモリアクセスは、標準的なRNNと比較して、手書き認識におけるシーケンスモデリングをどのように向上させるか？
• RQ3 外部メモリの統合により、特に低リソースまたはノイズの多い状況下でも、長大で複雑なテキストラインにおける文字誤り率が低下するか？
• RQ4 合成データでの事前学習は、実世界の手書きテキスト認識タスクにおける一般化性能向上にどの程度有効か？
• RQ5 メモリアクセスにおける繰り返しリファイニングは、長大なテキストラインにおける認識精度をどの程度向上させるか？

主な発見

• 1回のリファイニングステップ（l=1）を有するCMAMは、プライベートな日本語データセットの検証セットでCERを14.29%、テストセットで14.01%低減した。これはCRNNと比較した結果である。
• 日本語データセットでは、合成データで事前学習した後、CMAMは10.71%のテストCERを達成し、CRNNの11.62%を0.91ポイント上回った。
• IAM英語データセットでは、CMAM（l=1）が標準的なCRNNと比較してCERを2%以上低減し、短く綺麗なラインでも一貫した改善が確認された。
• SCUT-EPT中国語データセットでは、CMAMが82.14%の正答率（CR）を達成し、CRNNの81.47%を上回り、3.04%の高い正答率を示した。これは、複雑なスクリプトにおいて優位性を確認するものである。
• 長大で複雑なテキストラインにおいて、CMAMとCRNNの性能差が拡大する傾向にあり、これはメモリ機構が長文脈モデリングにおいて特に有効であることを示している。
• 合成データでの事前学習はCRNNの性能を顕著に向上させるが、CMAMには相対的に小さい向上幅にとどまる。これは、CMAMがよりデータ効率が良く、分布シフトに対してより頑健であることを示唆している。