[論文レビュー] Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition

Shancheng Fang, Hongtao Xie+3 more|arXiv (Cornell University)|Mar 11, 2021

Handwritten Text Recognition Techniques参考文献 48被引用数 21

ひとこと要約

ABINet は、視覚と言語モデリングを明示的に分離し、文脈に配慮したテキスト予測のための新しい双方向クローズドネットワーク（BCN）を用い、繰り返し補正を適用することで、エンドツーエンドのシーンテキスト認識システムにおける自律的・双方向的・反復的言語モデリングフレームワークを提案する。この手法は、特に低品質な画像において最先端の性能を達成し、未ラベルデータを用いたアンサンブル自己学習により人間水準の認識を実現する。

ABSTRACT

Linguistic knowledge is of great benefit to scene text recognition. However, how to effectively model linguistic rules in end-to-end deep networks remains a research challenge. In this paper, we argue that the limited capacity of language models comes from: 1) implicitly language modeling; 2) unidirectional feature representation; and 3) language model with noise input. Correspondingly, we propose an autonomous, bidirectional and iterative ABINet for scene text recognition. Firstly, the autonomous suggests to block gradient flow between vision and language models to enforce explicitly language modeling. Secondly, a novel bidirectional cloze network (BCN) as the language model is proposed based on bidirectional feature representation. Thirdly, we propose an execution manner of iterative correction for language model which can effectively alleviate the impact of noise input. Additionally, based on the ensemble of iterative predictions, we propose a self-training method which can learn from unlabeled images effectively. Extensive experiments indicate that ABINet has superiority on low-quality images and achieves state-of-the-art results on several mainstream benchmarks. Besides, the ABINet trained with ensemble self-training shows promising improvement in realizing human-level recognition. Code is available at https://github.com/FangShancheng/ABINet.

研究の動機と目的

• エンドツーエンドのシーンテキスト認識システムにおける言語的知識の効果的モデリングに取り組む。
• 現在の言語モデルの限界、すなわち暗黙的学習、一方向特徴表現、ノイズの多い視覚入力への感受性を克服する。
• 双方向的文脈と反復的精錬を活用することで、曇り、ノイズ、不規則なテキストが生じるような困難な状況下でもより頑健な認識を実現する。
• 自己学習による半教師あり学習を検討し、未ラベルデータを活用して一般化性能を向上させ、人間水準の性能に近づける。

提案手法

• 勾配の流れを視覚と言語モデリングの間で遮断することで、視覚と言語モデリングを分離し、言語的ルールの明示的かつ独立した学習を強制する。
• 左および右の文脈を同時に条件として用いるために、マスクされたアテンションを用いてステップ間での情報漏洩を防ぐ、新しい双方向クローズドネットワーク（BCN）を設計する。
• 推論段階で繰り返し補正を適用し、予測結果を繰り返し言語モデルに戻して結果を精錬することで、長さの不一致問題を軽減する。
• アンサンブル自己学習法を提案し、未ラベル画像からの繰り返し予測結果を偽ラベルとして用いて言語モデルを改善する。
• 視覚モデルと言語モデルの事前学習を独立して行うことが可能であり、トランスファー学習を可能にし、より頑健な性能を実現する。
• 文脈的推論を強化するため、マスキングと繰り返し推論を慎重に設計した、Transformerベースのアーキテクチャで実装する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの結合モデルと比較して、明示的かつ自律的な言語モデリングは、シーンテキスト認識性能を向上させるか？
• RQ2 クローズド形式のネットワークを用いた双方向的文脈モデリングは、曇りや破損したテキストにおいて認識精度にどのように影響を与えるか？
• RQ3 繰り返し補正は、誤り伝搬をどの程度軽減し、低品質な画像における頑健性を向上させるか？
• RQ4 未ラベルデータを用いたアンサンブル自己学習は、モデルの一般化性能を著しく向上させ、人間水準の性能に近づけるか？

主な発見

• ABINet-SV は、再実装したSOTAのSRN-SV より、IC13、SVT、IIIT、IC15、SVTP、CUTE でそれぞれ 0.5%、2.3%、0.4%、1.4%、0.6%、1.4% の向上を達成した。
• ABINet-LV は、IC13、SVT、IC15、SVTP、CUTE ベンチマークで、それぞれ 0.6%、1.2%、1.8%、1.4%、1.0% の向上を達成し、SRN-LV を上回った。
• 視覚特徴が信頼できない低品質な画像を含むデータセット（例：SVT、SVTP、IC15）において、顕著な優位性を示した。
• 繰り返し補正により誤り伝搬が軽減され、曇りや不規則なテキストを含む難易度の高い例の正しく認識されることが、定性的な結果で示された。
• アンサンブル自己学習法（ABINet-LV est）は、データ利用効率を向上させ、すべてのベンチマークで安定した性能向上を達成した。
• モデルは3回の反復で性能が飽和することが示されたため、より深い反復は不要であり、計算的に非効率であることがわかった。