[논문 리뷰] Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition

Zixiao Wang, Hongtao Xie외 4명|arXiv (Cornell University)|2023. 10. 08.

Handwritten Text Recognition TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 CLIP의 시각적 및 언어적 지식을 활용하여 스트리밍 텍스트 인식을 위한 대칭적 언어적 특징 정련 프레임워크인 CLIP-OCR를 제안한다. CLIP의 텍스트 인코더를 뒤집어 시각적 특징에서 언어적 특징으로의 대칭적 정련 흐름을 구축하고, 언어적 일관성 손실을 도입함으로써 CLIP-OCR는 여섯 개인 STR 벤치마크에서 평균 93.8%의 정확도를 달성하며, CLIP를 사용한 STR 분야에서 처음으로 종단 간 언어 유도 정련을 실현한다.

ABSTRACT

In this paper, we explore the potential of the Contrastive Language-Image Pretraining (CLIP) model in scene text recognition (STR), and establish a novel Symmetrical Linguistic Feature Distillation framework (named CLIP-OCR) to leverage both visual and linguistic knowledge in CLIP. Different from previous CLIP-based methods mainly considering feature generalization on visual encoding, we propose a symmetrical distillation strategy (SDS) that further captures the linguistic knowledge in the CLIP text encoder. By cascading the CLIP image encoder with the reversed CLIP text encoder, a symmetrical structure is built with an image-to-text feature flow that covers not only visual but also linguistic information for distillation.Benefiting from the natural alignment in CLIP, such guidance flow provides a progressive optimization objective from vision to language, which can supervise the STR feature forwarding process layer-by-layer.Besides, a new Linguistic Consistency Loss (LCL) is proposed to enhance the linguistic capability by considering second-order statistics during the optimization. Overall, CLIP-OCR is the first to design a smooth transition between image and text for the STR task.Extensive experiments demonstrate the effectiveness of CLIP-OCR with 93.8% average accuracy on six popular STR benchmarks.Code will be available at https://github.com/wzx99/CLIPOCR.

연구 동기 및 목표

• CLIP 기반 스트리밍 텍스트 인식 모델에서 언어적 지식이 충분히 활용되지 않는 문제를 해결하기 위해.
• 비전과 언어 간 双방향 지식 전이를 가능하게 하기 위해 대칭적 정련 흐름을 구성함으로써 비전과 언어 간 이중 방향 지식 전이를 가능하게 하기 위해.
• 저품질 또는 복잡한 배경을 가진 이미지와 같은 도전적인 조건에서도 인식의 강건성을 향상시키기 위해.
• CLIP의 텍스트 인코더에서 유도된 언어적 사전 지식을 인식 디코더로 효과적으로 전달하기 위한 정련 프레임워크를 설계하기 위해.
• CLIP의 내재된 비전-언어 정렬 특성을 활용한 점진적, 계층별 최적화 목표를 수립하기 위해.

제안 방법

• CLIP 이미지 인코더와 역방향 CLIP 텍스트 인코더를 연결하여 대칭적 이미지-텍스트 특징 흐름을 형성하는 대칭 정련 전략(SDS)을 제안한다.
• 정답 텍스트를 역방향 CLIP 텍스트 인코더에 입력하여 인식 디코더의 정밀한 언어적 감독을 생성한다.
• 숨겨진 특징의 이阶 통계를 정렬하는 언어적 일관성 손실(LCL)을 도입하여 언어적 지식 학습을 향상시킨다.
• CLIP 이미지 인코더와 역방향 텍스트 인코더를 연결하여 시각적 특징에서 언어적 표현으로 향하는 점진적 정련 경로를 구축한다.
• 정련 과정에서 이미지와 텍스트 특징 간 자연스러운 대응 관계를 확보하기 위해 CLIP의 사전 훈련된 대비 정렬을 활용한다.
• 표준 32×128 입력 해상도와 소형 배치 훈련에 대응할 수 있도록 CLIP 모델의 특징 공간을 STR에 적합하게 조정한다.

실험 결과

연구 질문

• RQ1 CLIP의 텍스트 인코더에서 유도된 언어적 지식이 지식 정련을 통해 스트리밍 텍스트 인식에 효과적으로 활용될 수 있는가?
• RQ2 비전과 언어 간 양방향 전이를 가능하게 하기 위해 어떻게 대칭적 정련 흐름을 구성할 수 있는가?
• RQ3 특징의 이阶 통계를 정렬함으로써 인식 디코더에서의 언어적 표현 학습이 향상되는가?
• RQ4 STR에서 일반적으로 사용되는 작은 입력 해상도 조건에서도 CLIP의 비전-언어 정렬에 대한 인도적 편향이 유지되는가?
• RQ5 시각적 및 언어적 감독을 통합한 점진적 계층별 최적화 목표를 구현할 수 있는 방법이 있는가?

주요 결과

• CLIP-OCR는 여섯 개인 표준 스트리밍 텍스트 인식 벤치마크에서 평균 93.8%의 정확도를 달성하며, 이는 이전의 CLIP 기반 방법들을 능가한다.
• 품질이 낮거나 배경이 복잡하거나 스타일이 강한 텍스트 이미지에서도 뛰어난 강건성을 보이며, 정성적 결과에서 이를 입증한다.
• 언어적 일관성 손실(LCL)은 모델이 텍스트의 문자 수준 및 단어 수준의 변형을 효과적으로 다룰 수 있는 능력을 크게 향상시킨다.
• 32×128 입력 해상도에서도 CLIP는 강력한 정렬을 유지하며, 이는 최소한의 계산 오버헤드로 STR에 적합함을 입증한다.
• 대칭적 정련 흐름은 추가적인 미세조정이나 보조 작업 없이도 효과적인 언어 유도를 가능하게 한다.
• CLIP-OCR는 이미지에서 텍스트로 향하는 새로운 단방향 특징 흐름을 도입하여, STR에서 점진적 종단 간 정련을 실현한다.