[論文レビュー] Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition

Zixiao Wang, Hongtao Xie+4 more|arXiv (Cornell University)|Oct 8, 2023

Handwritten Text Recognition TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、CLIPの視覚的および言語的知識を活用して、シーンテキスト認識のための対称的言語的特徴蒸留フレームワークであるCLIP-OCRを提案する。CLIPのテキストエンコーダーを逆方向に接続して対称的な画像からテキストへの蒸留フローを構築し、言語的一致性損失を導入することで、CLIP-OCRは6つのSTRベンチマークで平均93.8％の精度を達成し、CLIPを用いたSTRにおける最初のエンドツーエンドの言語的誘導型蒸留である。

ABSTRACT

In this paper, we explore the potential of the Contrastive Language-Image Pretraining (CLIP) model in scene text recognition (STR), and establish a novel Symmetrical Linguistic Feature Distillation framework (named CLIP-OCR) to leverage both visual and linguistic knowledge in CLIP. Different from previous CLIP-based methods mainly considering feature generalization on visual encoding, we propose a symmetrical distillation strategy (SDS) that further captures the linguistic knowledge in the CLIP text encoder. By cascading the CLIP image encoder with the reversed CLIP text encoder, a symmetrical structure is built with an image-to-text feature flow that covers not only visual but also linguistic information for distillation.Benefiting from the natural alignment in CLIP, such guidance flow provides a progressive optimization objective from vision to language, which can supervise the STR feature forwarding process layer-by-layer.Besides, a new Linguistic Consistency Loss (LCL) is proposed to enhance the linguistic capability by considering second-order statistics during the optimization. Overall, CLIP-OCR is the first to design a smooth transition between image and text for the STR task.Extensive experiments demonstrate the effectiveness of CLIP-OCR with 93.8% average accuracy on six popular STR benchmarks.Code will be available at https://github.com/wzx99/CLIPOCR.

研究の動機と目的

• CLIPベースのシーンテキスト認識モデルにおける言語的知識の未活用問題に対処すること。
• 視覚と言語の間で双方向の知識転送を可能にするために、対称的な蒸留フローを構築すること。
• 低品質または複雑な背景を持つ画像のような困難な条件下でも認識の頑健性を向上させること。
• CLIPのテキストエンコーダーから認識デコーダーへ言語的事前知識を効果的に転送する蒸留フレームワークを設計すること。
• CLIPの内在的な視覚・言語対応性を活用した段階的で層別最適化目的を構築すること。

提案手法

• CLIPの画像エンコーダーと逆方向のCLIPテキストエンコーダーを接続して、対称的な画像からテキストへの特徴フローを形成する対称的蒸留戦略（SDS）を提案する。
• 真のテキストを逆方向CLIPテキストエンコーダーの入力として使用し、認識デコーダーに対する正確な言語的監視を生成する。
• 隠れ特徴の2次統計を一致させる言語的一致性損失（LCL）を導入し、言語的知識学習を強化する。
• CLIPの画像エンコーダーと逆方向テキストエンコーダーを段階的に接続して、視覚的特徴から言語的表現への段階的蒸留経路を構築する。
• 蒸留中に画像とテキスト特徴の自然な対応関係を保証するために、CLIPの事前学習済み対応性を活用する。
• 標準的な32×128入力解像度と小バッチ学習に適合するように、CLIPモデルの特徴空間をSTRに適応させる。

実験結果

リサーチクエスチョン

• RQ1 CLIPのテキストエンコーダーからの言語的知識は、知識蒸留を通じてシーンテキスト認識で効果的に活用可能か？
• RQ2 視覚と言語の間で双方向転送を可能にするために、どのように対称的蒸留フローを構築できるか？
• RQ3 特徴の2次統計を一致させることで、認識デコーダーにおける言語的表現学習が向上するか？
• RQ4 STRで一般的な小規模な入力解像度でも、CLIPの視覚・言語対応性のインダクティブバイアスを保持できるか？
• RQ5 視覚的および言語的監視を統合した段階的で層別最適化目的を構築する方法はあるか？

主な発見

• CLIP-OCRは6つの標準的なシーンテキスト認識ベンチマークで平均93.8％の精度を達成し、先行するCLIPベースの手法を上回った。
• 定性的な結果から、低品質、複雑な背景、スタイリッシュなテキスト画像においても、優れた頑健性を示した。
• 言語的一致性損失（LCL）は、テキストの文字レベルおよび単語レベルの変異を処理する能力を顕著に向上させた。
• 32×128の入力解像度でもCLIPは強い対応性を維持しており、計算コストを最小限に抑えてSTRに適していることが裏付けられた。
• 対称的蒸留フローにより、追加のファインチューニングや補助タスクを必要とせずに、効果的な言語的誘導が可能になった。
• CLIP-OCRは、画像からテキストへの画期的な単方向特徴フローを導入し、STRにおける段階的でエンドツーエンドの蒸留を実現した。