[論文レビュー] Learn to Augment: Joint Data Augmentation and Network Optimization for Text Recognition

Canjie Luo, Yuanzhi Zhu+2 more|arXiv (Cornell University)|Mar 14, 2020

Handwritten Text Recognition Techniques参考文献 46被引用数 8

ひとこと要約

本論文は、増幅と認識ネットワークを共同最適化する学習可能でエージェント駆動のデータ拡張手法を提案する。特徴点を学習によって操作することで、困難で多様な訓練サンプルを生成し、認識精度を著しく向上させる。特に小規模データセットにおいて顕著な向上を示し、IAM手書き文字認識ベンチマークにおいて、言語誤り率の低減で最先端のベースラインを最大5.08%上回る。

ABSTRACT

Handwritten text and scene text suffer from various shapes and distorted patterns. Thus training a robust recognition model requires a large amount of data to cover diversity as much as possible. In contrast to data collection and annotation, data augmentation is a low cost way. In this paper, we propose a new method for text image augmentation. Different from traditional augmentation methods such as rotation, scaling and perspective transformation, our proposed augmentation method is designed to learn proper and efficient data augmentation which is more effective and specific for training a robust recognizer. By using a set of custom fiducial points, the proposed augmentation method is flexible and controllable. Furthermore, we bridge the gap between the isolated processes of data augmentation and network optimization by joint learning. An agent network learns from the output of the recognition network and controls the fiducial points to generate more proper training samples for the recognition network. Extensive experiments on various benchmarks, including regular scene text, irregular scene text and handwritten text, show that the proposed augmentation and the joint learning methods significantly boost the performance of the recognition networks. A general toolkit for geometric augmentation is available.

研究の動機と目的

• 不規則なシーンテキストやスタイルのばらつきが著しい手書きテキストにおいて顕著な限界を示す、限定的かつ多様性に欠ける訓練データの課題に対処すること。
• 全体を1つのエンティティとして扱う従来の幾何的拡張（例：回転、スケーリング）の非効率性を克服し、文字レベルの多様性をモデル化できないこと。
• 孤立したデータ拡張とネットワーク学習の間のギャップを埋め、増幅と認識のエンドツーエンド共同最適化を可能にすること。
• 手動での再設定が不要な、異なるテキスト認識タスクに自動的に適応するメタフレームワークの開発

提案手法

• 各テキスト画像に学習可能な特徴点の集合を初期化し、文字レベルの細かい空間的変換を可能にする。
• エージェントネットワークが、編集距離で測定された認識ネットワークのパフォーマンスフィードバックに基づき、特徴点の移動状態を予測する。
• 画像生成には、移動最小二乗法を用いた類似変換を適用し、特徴点の移動に従って画像を変形する。
• 学習済み（エージェント駆動）とランダムな摂動を組み合わせることで、多様性と探索性を維持する。
• エージェントが認識の耐性を向上させるために、次第に困難なサンプルを生成するように学習する、エンドツーエンドで訓練可能な全システム。
• CTCベースの認識ネットワークに統合され、認識損失と共に共同最適化される。

実験結果

リサーチクエスチョン

• RQ1 認識の難易度に適応する学習可能な増幅戦略は、静的またはランダムな増幅を上回るテキスト認識性能を達成できるか？
• RQ2 エージェント駆動の特徴点操作は、系列的で文字認識に適した多様で困難な訓練サンプルを生成するのにどの程度有効か？
• RQ3 増幅と認識の共同最適化は、特に小規模または不均衡なデータセットにおいて、より良い一般化性能をもたらすか？
• RQ4 提案手法は、不規則なシーンテキストや手書きテキストを含む、さまざまなテキスト認識タスクに一般化可能か？
• RQ5 AFDMのような先行するスマート増幅技術と比較して、性能と適応性の面でどのように差がつくか？

主な発見

• IAM手書きテキストベンチマークにおいて、制約なし設定下で言語誤り率が19.12%から14.04%に5.08%低下し、ベースラインおよび最先端手法を上回った。
• RIMESデータセットにおいて、制約なし設定下で言語誤り率が13.83%から9.23%に4.42%低下し、ノイズが多く低品質な画像に対しても強い耐性を示した。
• CT80シーンテキストベンチマークにおいて、共同学習フレームワークは4.5%の精度向上を達成し、規則的および不規則なシーンテキストの両方で有効性を示した。
• AFDMモジュールと組み合わせた場合、IAM（制約なし）で言語誤り率13.35%を達成し、すべての先行手法を上回り、新たな最先端水準を樹立した。
• 本手法はメタフレームワークである：AFDMなどの他の増幅モジュールとシームレスに統合可能であり、併用することでさらなる性能向上が可能である。