[논문 리뷰] PreSTU: Pre-Training for Scene-Text Understanding

Jihyung Kil, Soravit Changpinyo외 5명|arXiv (Cornell University)|2022. 09. 12.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

PreSTU는 이미지 픽셀에서 직접 OCR 인식 목표를 통합함으로써 시각-언어 모델의 성능을 향상시키는 시나리오 텍스트 이해(SLU)를 위한 새로운 사전 훈련 레시피를 제안한다. 표준 OCR 도구를 사용해 대규모 이미지-텍스트 데이터에서 훈련함으로써 PreSTU는 TextVQA에서 10% 이상의 절대적 성능 향상과 TextCaps에서 42 CIDEr 점수를 기록하며, 노이즈가 많은 OCR 입력에 대해서도 강건하며, 최종 적용 단계에서 OCR 신호가 없어도 효과적으로 작동한다.

ABSTRACT

The ability to recognize and reason about text embedded in visual inputs is often lacking in vision-and-language (V&L) models, perhaps because V&L pre-training methods have often failed to include such an ability in their training objective. In this paper, we propose PreSTU, a novel pre-training recipe dedicated to scene-text understanding (STU). PreSTU introduces OCR-aware pre-training objectives that encourage the model to recognize text from an image and connect it to the rest of the image content. We implement PreSTU using a simple transformer-based encoder-decoder architecture, combined with large-scale image-text datasets with scene text obtained from an off-the-shelf OCR system. We empirically demonstrate the effectiveness of this pre-training approach on eight visual question answering and four image captioning benchmarks.

연구 동기 및 목표

• 시각-언어 모델에서 시나리오 텍스트 이해(SLU)를 위한 명시적 사전 훈련 목표의 부족을 해결하기 위해.
• 사전 훈련 단계에서 OCR로 인식된 텍스트를 그 시각적 맥락과 직접 연결함으로써 모델의 강건성과 성능을 향상시키기 위해.
• OCR 품질이 변동하거나 추론 단계에서 OCR 신호가 제공되지 않을 경우에도 OCR 인식 목표가 최종 STU 성능을 향상시킬 수 있음을 입증하기 위해.
• 사전 훈련 데이터의 크기, 해상도, OCR 시스템 선택이 STU 모델 성능에 미치는 영향을 조사하기 위해.
• 다양한 STU 벤치마크에서 기존 방법을 능가하는 단순하고 효과적이며 확장 가능한 사전 훈련 레시피를 제공하기 위해.

제안 방법

• PreSTU는 이미지 픽셀에 직접 적용되는 ViT 인코더에서 추출된 시각적 특징을 사용하는 T5 기반 트랜스포머 인코더-디코더 아키텍처를 사용하며, 고정된 객체 검출기 의존도를 피한다.
• 모델은 이미지 픽셀과 OCR 토큰을 모두 처리하며, OCR 출력은 작업에 특화된 프롬프트와 결합되어 맥락 인식 기반의 텍스트 이해를 가능하게 한다.
• 핵심 사전 훈련 목표인 splitocr는 이미지와 부분적인 OCR 출력이 주어졌을 때 손실된 시나리오 텍스트의 일부를 예측하도록 모델을 훈련시켜, 공동 인식과 맥락 기반 정렬을 촉진한다.
• 추가 목표인 vqa와 cap은 최종 적용 단계의 작업에 특화된 사전 훈련을 위해 모델을 미세조정하여 텍스트-맥락 연결을 더욱 강화한다.
• 사전 훈련은 COCO, Conceptual Captions 등의 대규모 이미지-텍스트 데이터셋을 활용하며, Google Cloud OCR를 통해 시나리오 텍스트를 추출하여 확장 가능하고 현실적인 훈련을 가능하게 한다.
• 이 방법은 12개의 다양한 STU 벤치마크에서 평가되었으며, 데이터 규모, 해상도, OCR 시스템 강건성에 대한 분석 실험을 포함한다.

실험 결과

연구 질문

• RQ1 OCR 인식 목표를 통한 사전 훈련은 시각-언어 모델이 시각적 맥락 내에서 시나리오 텍스트를 인식하고 정렬하는 능력을 향상시키는가?
• RQ2 사용자 작업에 종속되지 않는 splitocr 사전 훈련 목표를 사용할 경우, 기존의 V&L 사전 훈련 대비 최종 STU 성능 향상은 어떻게 이루어지는가?
• RQ3 최종 적용 단계에서 OCR 시스템의 품질이 변동하거나 OCR 신호가 완전히 제거될 경우 PreSTU는 얼마나 효과적으로 유지되는가?
• RQ4 사전 훈련 데이터 규모와 이미지 해상도는 STU 모델 성능에 어떤 영향을 미치는가?
• RQ5 OCR 인식 목표를 통합함으로써 미리 알 수 없는 STU 작업으로의 제로샷 전이 능력이 향상되는가?

주요 결과

• PreSTU는 강력한 기준 모델 대비 TextVQA에서 10.4%의 절대적 성능 향상을 기록하여 시나리오 텍스트 추론 능력 향상의 뚜렷한 증거를 제시한다.
• TextCaps 벤치마크에서 PreSTU는 기준 모델 대비 42.0 CIDEr 점수 향상을 달성하여 더 구체적이고 정확한 시나리오 텍스트 캡션 생성 능력을 입증한다.
• 사전 훈련된 splitocr→vqa 목표는 사전 훈련 없이도 53.1%의 정확도를 기록하며, 동일한 데이터에 대해 미세조정된 Supervised NoPreSTU 기준 모델보다 뛰어난 성능을 보였다.
• 사전 훈련 이미지 해상도를 224×224에서 640×640으로 증가시킬 경우 TextVQA 정확도는 47.1%에서 55.6%로 향상되어 고해상도 시각적 특징의 중요성을 입증한다.
• 전체 데이터(1300만 개 샘플)의 1%에서 100%로 사전 훈련 데이터 규모를 확장할 경우 TextVQA 정확도는 42.3%에서 55.6%로 상승하여 데이터 규모 증가의 강력한 이점이 있음을 보여준다.
• splitocr 사전 훈련된 모델은 최종 적용 단계의 OCR 시스템 변화에 더 강건하며, Rosetta와 같은 정확도가 낮은 OCR 시스템을 사용할 경우에도 기준 모델을 능가하고, 인간 레이블링된 TextOCR를 초월하는 gOCR를 사용할 경우에도 기준 모델을 능가한다.