[논문 리뷰] Finding the Evidence: Localization-aware Answer Prediction for Text Visual Question Answering

Wei Han, Hantao Huang외 1명|arXiv (Cornell University)|2020. 10. 06.

Multimodal Machine Learning Applications참고 문헌 20인용 수 9

한 줄 요약

이 논문은 텍스트 시각질문응답에서 정답과 그에 해당하는 이미지 내 지원 바운딩 박스를 동시에 예측하는 로컬라이제이션 인식 정답 예측 네트워크인 LaAP-Net을 제안한다. 맥락이 풍부한 OCR 표현과 로컬라이제이션 인식 디코더를 통합함으로써, 정답 정확도를 향상시키고 해석 가능한 증거를 제공하여 TextVQA(41.41% 정확도), ST-VQA(0.485 ANLS), OCR-VQA(64.1% 정확도)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image text carries essential information to understand the scene and perform reasoning. Text-based visual question answering (text VQA) task focuses on visual questions that require reading text in images. Existing text VQA systems generate an answer by selecting from optical character recognition (OCR) texts or a fixed vocabulary. Positional information of text is underused and there is a lack of evidence for the generated answer. As such, this paper proposes a localization-aware answer prediction network (LaAP-Net) to address this challenge. Our LaAP-Net not only generates the answer to the question but also predicts a bounding box as evidence of the generated answer. Moreover, a context-enriched OCR representation (COR) for multimodal fusion is proposed to facilitate the localization task. Our proposed LaAP-Net outperforms existing approaches on three benchmark datasets for the text VQA task by a noticeable margin.

연구 동기 및 목표

• 기존 텍스트 VQA 모델에서 정답 증거의 부재 문제를 해결하기 위해 예측의 근거가 되는 지역화된 바운딩 박스를 제공한다.
• OCR 토큰과 이미지 특징으로부터의 위치 정보 및 맥락 정보를 활용하여 텍스트 VQA의 다중모odal 추론을 향상시킨다.
• 정답에 대한 공간적으로 기반을 둔 증거를 생성함으로써 모델의 해석 가능성 향상과 데이터셋 편향에 대한 의존도 감소를 도모한다.
• 통합된 로컬라이제이션 인식 아키텍처를 통해 여러 벤치마크 텍스트 VQA 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 객체 수준의 맥락을 텍스트 특징과 통합하는 맥락이 풍부한 OCR 표현을 도입함으로써 다중모달 융합을 단순화한다.

제안 방법

• 디코딩 중 정답 생성에 사용되는 OCR 토큰을 위한 바운딩 박스를 예측하는 로컬라이제이션 인식 정답 예측(LaAP) 모듈을 제안한다.
• 위치 유도 주의를 사용하여 객체 특징을 OCR 임베딩에 통합하는 맥락이 풍부한 OCR 표현(COR)을 도입한다.
• 정답 생성과 바운딩 박스 예측을 위한 별도의 헤드를 갖춘 트랜스포머 기반 인코더-디코더 아키텍처를 사용한다.
• 정답 정확도와 로컬라이제이션 IoU를 동시에 최적화하는 다중임무 학습 목표를 적용하여 성능과 해석 가능성 향상을 도모한다.
• 정답 예측의 공간적 기반을 강화하기 위해 디코더에 OCR 위치 임베딩을 통합한다.
• 고정 어휘와 OCR 토큰 양쪽에서 정답을 선택할 수 있도록 동적 포인터 네트워크를 적용하여 OOV(Out-of-Vocabulary) 정답 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정답과 그에 해당하는 지원 바운딩 박스를 동시에 예측하는 것이 텍스트 VQA의 성능과 해석 가능성 향상에 기여하는가?
• RQ2 OCR 표현에 맥락 기반 이미지 특징을 통합할 경우 텍스트 VQA의 다중모달 추론에 어떤 영향을 미치는가?
• RQ3 로컬라이제이션 인식 예측은 모델이 데이터셋 편향이나 통계적 단서에 얼마나 의존하는가를 어느 정도 감소시키는가?
• RQ4 공통 인코더와 다중임무 디코더를 갖춘 통합 아키텍처가 개방형 어휘 텍스트 VQA 벤치마크에서 기존 방법을 초월할 수 있는가?
• RQ5 다양한 이미지 및 텍스트 특성을 지닌 다양한 텍스트 VQA 데이터셋에서 모델의 일반화 능력은 어떠한가?

주요 결과

• LaAP-Net는 TextVQA 테스트 스플릿에서 41.41%의 정확도를 달성하여 이전 최신 기술 수준 모델인 M4C를 1.44%p 뛰어넘었다.
• ST-VQA 데이터셋에서 LaAP-Net는 0.485 ANLS를 기록하여 이전 최신 기술 수준 모델인 SMA보다 0.019 향상되었고, 챌린지 우승자인 VTA보다는 0.20의 절대적 향상률을 보였다.
• OCR-VQA 데이터셋에서 LaAP-Net는 64.1%의 정확도를 기록하여 새로운 최신 기술 수준을 수립했으며, 시각적 맥락이 제한된 책 표지 중심의 데이터셋임에도 불구하고 성과를 내었다.
• 정성 분석 결과, 예측된 바운딩 박스가 80%의 성공 사례에서 정답 영역과 잘 일치하며, 70%의 예시에서 IoU 점수가 0.5 이상을 기록했다.
• 실패 사례 분석 결과, 상대적 위치 언어(예: '오른쪽', '중간')에 민감한 것으로 나타나, 명시적인 공간적 단서 없이 상대적 위치를 추론하는 데에는 한계가 있음을 보여주었다.
• 예측된 바운딩 박스가 정답의 시각적 증거로 기능하여 통계적 패tern에 대한 의존도를 줄이고, 모델의 강건성과 해석 가능성 향상이 이루어졌다.