[논문 리뷰] Multimodal Semi-Supervised Learning for Text Recognition

Aviad Aberdam, Roy Ganz외 2명|arXiv (Cornell University)|2022. 05. 08.

Handwritten Text Recognition Techniques인용 수 10

한 줄 요약

이 논문은 시각 기반 백본을 레이블이 있는 데이터와 레이블이 없는 데이터를 동시에 사용하여 대조학습을 수행하고, 약한 증강 및 강한 증강된 시각적 관점에서 생성된 가짜 레이블을 통한 자기 정복을 통해 통합된 세 단계 학습 파이프라인을 갖춘, 스코어 텍스트 인식을 위한 새로운 다중모달 준지도 학습 프레임워크인 SemiMTR를 제안한다. SemiMTR는 대조학습과 문자 수준 일致성 정규화를 통합하여 최신 기준 성능을 달성하며, 합성 데이터 전용 기준 대비 일반 벤치마크에서 14%의 단어 오류율 감소와 비일반 벤치마크에서 28%의 감소를 기록한다.

ABSTRACT

Until recently, the number of public real-world text images was insufficient for training scene text recognizers. Therefore, most modern training methods rely on synthetic data and operate in a fully supervised manner. Nevertheless, the amount of public real-world text images has increased significantly lately, including a great deal of unlabeled data. Leveraging these resources requires semi-supervised approaches; however, the few existing methods do not account for vision-language multimodality structure and therefore suboptimal for state-of-the-art multimodal architectures. To bridge this gap, we present semi-supervised learning for multimodal text recognizers (SemiMTR) that leverages unlabeled data at each modality training phase. Notably, our method refrains from extra training stages and maintains the current three-stage multimodal training procedure. Our algorithm starts by pretraining the vision model through a single-stage training that unifies self-supervised learning with supervised training. More specifically, we extend an existing visual representation learning algorithm and propose the first contrastive-based method for scene text recognition. After pretraining the language model on a text corpus, we fine-tune the entire network via a sequential, character-level, consistency regularization between weakly and strongly augmented views of text images. In a novel setup, consistency is enforced on each modality separately. Extensive experiments validate that our method outperforms the current training schemes and achieves state-of-the-art results on multiple scene text recognition benchmarks.

연구 동기 및 목표

• 스코어 텍스트 인식 분야에서 점점 증가하는 공개된 실세계 텍스트 이미지 데이터셋이 제대로 활용되지 않는 문제를 해결하기 위해.
• 현대의 다중모달 아키텍처(예: ABINet)와 호환되면서도 레이블이 없는 실세계 데이터를 효과적으로 활용할 수 있는 방법을 개발하기 위해.
• 대조학습과 일치성 정규화를 통해 레이블이 없는 데이터를 통합함으로써 완전히 지도 학습된 합성 데이터 기반 학습을 초월한 성능 향상을 이루기 위해.
• 실세계 데이터만을 적절히 활용할 경우 준지도 학습을 통해 합성 데이터를 초월할 수 있음을 입증하기 위해.

제안 방법

• 감독된 교차엔트로피 손실과 대조학습 목표를 결합한 통합된 단일 단계 사전학습을 제안하여, 동시에 자기지도 학습과 감독 학습이 가능하도록 한다.
• 기존에 수기 인식을 위해 개발된 SeqCLR(일련의 순서 대비 학습) 방법을 실세계 텍스트 인식에 적합하도록 변형 및 확장하였으며, 강력한 트랜스포머 기반 백본과 더 강력한 색상-질감 증강 기법을 도입하였다.
• 각 모odal(시각, 언어, 융합)이 자신을 가르치는 교사 역할을 하여, 강한 증강된 시각적 관점에서의 자기학습을 위한 가짜 레이블을 생성하는 순차적 문자 수준 일치성 정규화를 도입한다.
• 일치성 손실에서 정지 기울기와 하드 원-핫 레이블을 사용하며, 교차엔트로피를 핵심 손실 함수로 활용하여 학습 안정성과 성능 향상을 도모한다.
• ABINet의 표준 세 단계 학습 파이프라인(시각 사전학습, 언어 사전학습, 피니팅)을 유지하면서 추가 단계나 재학습 단계를 추가하지 않는다.
• 모달별 가짜 레이블링을 적용하여 각 모달이 자체의 가짜 레이블을 생성하고 학습에 활용하며, 가장 효과적인 설정은 각 모달이 자신을 가르치는 자기 정복 방식이다.

실험 결과

연구 질문

• RQ1 복잡한 배경과 다양한 변형이 존재하는 실세계 이미지에서 대조학습을 스코어 텍스트 인식에 성공적으로 적용할 수 있는가?
• RQ2 대조학습과 감독 학습을 통합한 단일 사전학습 단계가 별도의 사전학습 및 피니팅 단계보다 시각 모델의 표현력을 향상시키는가?
• RQ3 다중모달 텍스트 인식에서 모달별 가짜 레이블링을 통한 자기 정복이 교차 모달 정복보다 더 효과적인가?
• RQ4 각 모달별로 별도로 적용하는 문자 수준의 일치성 정규화가 준지도 학습 스코어 텍스트 인식에서 성능 향상에 기여하는가?
• RQ5 이 방법을 통해 레이블이 없는 실세계 데이터를 활용할 경우 순수 합성 데이터 학습을 초월할 수 있는가?

주요 결과

• SemiMTR는 레이블이 없는 실세계 데이터만으로 학습된 경우, 일반 스코어 텍스트 벤치마크에서 14%의 상대적 단어 오류율 감소와 비일반 벤치마크에서 28%의 감소를 기록하며 합성 전용 기준을 초월한다.
• 대조학습과 감독 학습을 통합한 단일 사전학습 단계는 표준 이중 단계 접근법보다 우수하며, 일반 벤치마크에서 정확도가 1.3%p 향상되었다.
• 가장 우수한 일치성 정규화 설정은 교차엔트로피 손실, 하드 원-핫 레이블, 정지 기울기, 임계값 없이 적용한 것으로, 일반 벤치마크에서 92.4%의 정확도를 달성했다.
• 자기 정복(각 모달이 자신을 가르치는 방식)이 가장 높은 성능을 기록하였으며, 시각-언어-융합 모델은 일반 벤치마크에서 92.4%의 정확도, 비일반 벤치마크에서 65.2%의 정확도를 기록했다.
• 이 방법은 13개의 스코어 텍스트 인식 벤치마크 중 12개에서 최신 기준 성능을 향상시켜 다양한 데이터셋에 걸쳐 광범위한 효과를 입증했다.
• 더 강력한 색상-질감 증강 기법은 실세계 이미지에서 표현 학습 성능을 크게 향상시키며, 원래 SeqCLR 증강 파이프라인 대비 정확도에서 1.5%p 향상되었다.