Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Joint Visual Semantic Reasoning: Multi-Stage Decoder for Text Recognition

Ayan Kumar Bhunia, Aneeshan Sain|arXiv (Cornell University)|Jul 26, 2021
Multimodal Machine Learning Applications参考文献 63被引用数 4
ひとこと要約

本稿では、視覚的特徴のみに依存するモデルの限界を補完するため、共同視覚的・意味的推論を統合することで、視覚のみのモデルを向上させる、マルチステージ・マルチスケールの注意メカニズムを備えたデコーダーを提案する。予測を段階的にアンロールし、離散的文字予測に起因する非微分性を克服するため、ストレートスラッジGumbel-softmaxを用いることで、エンド・ツー・エンドの学習を可能にした。このモデルは、文脈的な意味的情報を用いて初期の視覚的推定値を改善し、IC15で84.0%のWRAを達成し、SOTA手法を大きく上回る結果を得た。

ABSTRACT

Although text recognition has significantly evolved over the years, state-of-the-art (SOTA) models still struggle in the wild scenarios due to complex backgrounds, varying fonts, uncontrolled illuminations, distortions and other artefacts. This is because such models solely depend on visual information for text recognition, thus lacking semantic reasoning capabilities. In this paper, we argue that semantic information offers a complementary role in addition to visual only. More specifically, we additionally utilize semantic information by proposing a multi-stage multi-scale attentional decoder that performs joint visual-semantic reasoning. Our novelty lies in the intuition that for text recognition, the prediction should be refined in a stage-wise manner. Therefore our key contribution is in designing a stage-wise unrolling attentional decoder where non-differentiability, invoked by discretely predicted character labels, needs to be bypassed for end-to-end training. While the first stage predicts using visual features, subsequent stages refine on top of it using joint visual-semantic information. Additionally, we introduce multi-scale 2D attention along with dense and residual connections between different stages to deal with varying scales of character sizes, for better performance and faster convergence during training. Experimental results show our approach to outperform existing SOTA methods by a considerable margin.

研究の動機と目的

  • 歪み、ノイズ、低照度画像など、複雑な野生環境下で視覚的特徴に依存するSOTAテキスト認識モデルが失敗するという限界を解消すること。
  • 複数段階にわたる反復的精錬を通じて、視覚的および意味的文脈を統合した共同視覚的・意味的推論を、テキスト認識に組み込むこと。
  • マルチステージ設定における離散的文字予測が引き起こす非微分性の問題を克服し、段階間で勾配が流れることを可能にするエンド・ツー・エンドの学習を実現すること。
  • 段階的精錬とマルチスケールの注意メカニズムを用いて、グローバルな意味的文脈を統合することで、制約のないテキスト認識の耐障害性と正確性を向上させること。

提案手法

  • 最初の段階では視覚的特徴のみを用いて予測を行い、以降の段階では視覚的・意味的情報の統合を用いて予測を精錬する、マルチステージのアンロールド注意メカニズムデコーダーを導入する。
  • 訓練中にargmaxの非微分性を回避するため、ストレートスラッジGumbel-softmax演算子を用い、離散トークン予測を経由したバックプロパゲーションを可能にする。
  • さまざまな文字サイズに対応し、スケール間での特徴の整合性を高めるために、マルチスケール2次元畳み込み注意メカニズムを採用する。
  • 訓練の安定化と収束の加速を図るため、段階間で密接な接続と残差接続を統合する。
  • 長距離依存性をモデル化し、特徴に意味的文脈を豊かにするために、LSTMまたはTransformer（マルチヘッド自己注意）に基づく視覚的・意味的推論モジュールを活用する。
  • グローバルな意味的理解を向上させるために、事前学習済みのBERT型アーキテクチャを意味的推論モジュールに採用する。
Figure 1 : Compared to existing attentional decoder architectures [ 53 , 33 ] , we design a novel multi-scale attention decoder for text recognition which is unpacked in a stage-wise manner . The problem of non-differentiability, due to discrete-character prediction is bypassed via straight-through
Figure 1 : Compared to existing attentional decoder architectures [ 53 , 33 ] , we design a novel multi-scale attention decoder for text recognition which is unpacked in a stage-wise manner . The problem of non-differentiability, due to discrete-character prediction is bypassed via straight-through

実験結果

リサーチクエスチョン

  • RQ1視覚的特徴のみでは不十分な野生的・制約のない状況下で、共同視覚的・意味的推論がテキスト認識性能を顕著に向上させることができるか？
  • RQ2エンド・ツー・エンドで微分可能であるように、マルチステージのデコーディングフレームワークが視覚的および意味的文脈を効果的に活用して予測を精錬できるか？
  • RQ3マルチステージ精錬における最適な段階数は何か？ また、モデルの性能と収束に与える影響は？
  • RQ4マルチスケールの注意メカニズムと残差接続を統合することで、テキスト認識における耐障害性と正確性がどの程度向上するか？
  • RQ5意味的推論モジュールを事前学習することで、全体の認識性能がどの程度向上するか？

主な発見

  • 提案されたマルチステージデコーダーは、IC15データセットで84.0%のワード認識精度（WRA）を達成し、以前のSOTAを大きく上回った。
  • 分類ヘッドと精錬ヘッドに別々の重みを用いた場合、エンコーダーと意味的推論モジュールは共有するという設定で、1.7%の性能向上を達成した。これは、パラメータ共有の最適性を示している。
  • 最適な段階数は2段階であると判明した。3段階以上に増やすと性能が飽和し、勾配消失や意味的文脈の利用の限界によるものと推測される。
  • データ量が少ない状況下でも優れた性能を示し、たった100万件の学習サンプルでのWRAが73.1%に達し、ベースラインや過去のSOTA手法を上回った。
  • 事前学習済みのTransformerベースの視覚的・意味的推論モジュールを用いることで、84.0%のWRAを達成し、LSTMベースのバージョンより0.9%向上、非事前学習のTransformerベースより1.3%向上した。
  • 計算コストは15.3 GFLOPs（ベースライン）から22.5 GFLOPs（提案手法）に上昇したが、顕著な精度向上を考慮すると、より深いネットワークを単純にスタックする手法に比べて妥当である。
Figure 2 : With the extracted context-rich holistic feature ( $h_{L}$ ) and multi-scale feature maps ( $B_{L},B_{L-1},B_{L-2}$ ), a multi-stage attentional decoder predicts the character sequences in consecutive stages. Once the previous stage’s decoder completely unrolls itself across time , the cu
Figure 2 : With the extracted context-rich holistic feature ( $h_{L}$ ) and multi-scale feature maps ( $B_{L},B_{L-1},B_{L-2}$ ), a multi-stage attentional decoder predicts the character sequences in consecutive stages. Once the previous stage’s decoder completely unrolls itself across time , the cu

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。