[논문 리뷰] DocVQA: A Dataset for VQA on Document Images

Minesh Mathew, Dìmosthenis Karatzas외 1명|arXiv (Cornell University)|2020. 07. 01.

Multimodal Machine Learning Applications참고 문헌 37인용 수 8

한 줄 요약

이 논문은 12,767개의 문서 이미지에서 유저가 질문에 답할 수 있도록 설계된 50,000개의 질문-답변 쌍을 포함한 대규모 데이터셋인 DocVQA를 소개한다. 이는 문서 이미지의 시각적 질문 응답(VQA)을 향상시키기 위해 텍스트 내용과 문서 레이아웃을 모두 이해할 수 있도록 요구한다. 최고의 성능을 보인 모델은 SQuAD와 DocVQA 양쪽에서 미세조정된 BERT-Large로, 정확도가 55.77%에 머물러 있으며, 인간 성능(94.36%)에 비해 크게 떨어지며, 문서 이해에서 시각적 및 구조적 신호를 더 잘 통합할 필요가 있음을 시사한다.

ABSTRACT

We present a new dataset for Visual Question Answering (VQA) on document images called DocVQA. The dataset consists of 50,000 questions defined on 12,000+ document images. Detailed analysis of the dataset in comparison with similar datasets for VQA and reading comprehension is presented. We report several baseline results by adopting existing VQA and reading comprehension models. Although the existing models perform reasonably well on certain types of questions, there is large performance gap compared to human performance (94.36% accuracy). The models need to improve specifically on questions where understanding structure of the document is crucial. The dataset, code and leaderboard are available at docvqa.org

연구 동기 및 목표

• 간단한 텍스트 추출을 넘어서는 추론이 요구되는 VQA 작업을 도입함으로써 종합적인 문서 이미지 이해의 격차를 해소하고자 한다.
• 모델이 고립된 추출 작업이 아닌 사용자 질의에 의해 이끌리는 '목적 기반' 접근 방식을 문서 분석에 도입하고자 한다.
• 복잡하고 개방형 질문을 요구하는 다중모달 이해가 필요한 실제 문서 이미지의 대규모이고 다양한 데이터셋을 제공하고자 한다.
• 기존의 VQA 및 독해 이해 모델을 문서 이미지에서 평가하고, 특히 레이아웃 및 구조적 추론에서의 주요 실패 원인을 규명하고자 한다.

제안 방법

• 5개 산업과 여러 개의 시대에서 온 12,767개의 실제 문서 이미지로 구성된 데이터셋으로, 추론 유형에 따라 분류된 50,000개의 자연어 질문이 포함되어 있다.
• 질문은 레이아웃, 구조, 표, 양식, 체크박스, 다이어그램과 같은 비텍스트 시각적 신호의 이해를 요구하도록 설계되었다.
• 기준 모델로는 히ュ리스틱 방법(예: OCR 부분 문자열 매칭), VQA 모델(LoRRA, M4C), 그리고 DocVQA와 SQuAD에서 미세조정된 BERT 기반 질문 응답 모델이 포함되어 있다.
• M4C 모델은 시각적 특징과 OCR로 추출된 텍스트를 모두 사용하도록 수정되었으며, 동적 어휘와 객체 특징에 대한 분석 실험을 수행했다.
• BERT 기반 모델은 질문-답변 쌍을 사용해 DocVQA에서 미세조정되었으며, 사전학습 데이터(예: SQuAD 대비 SQuAD 사전학습 없음)에 대한 분석 실험을 수행했다.
• 성능 평가는 정확도(정확도)와 평균 정규화된 L2 거리(ANLS)로 평가되었으며, 인간 성능은 상한선으로 사용되었다.

실험 결과

연구 질문

• RQ1 기존의 VQA 및 독해 이해 모델은 복잡한 레이아웃과 다중모달 신호를 포함한 실제 문서 이미지에 얼마나 잘 일반화되는가?
• RQ2 현재 모델이 가장 어려워하는 질문 유형은 무엇이며, 인간 성능과 비교해 어디에서 실패하는가?
• RQ3 SQuAD에서의 사전학습이 문서 VQA 성능 향상에 어느 정도 기여하는가? 그리고 DocVQA에서만 미세조정하는 경우 성능에 어떤 영향을 미치는가?
• RQ4 문서 수준의 추론이 필요한 질문을 해결하기 위해 레이아웃 및 구조적 정보 통합이 얼마나 중요한가?
• RQ5 일반적인 VQA 또는 텍스트 QA 데이터셋에서 학습한 모델은 DocVQA에서 요구하는 개방형이고 문서 기반의 추론을 효과적으로 처리할 수 있는가?

주요 결과

• SQuAD와 DocVQA 양쪽에서 미세조정된 BERT-Large가 가장 높은 성능을 보였으며, 테스트 세트에서 정확도가 55.77%에 머물러 인간 성능(94.36%)에 비해 크게 떨어졌다.
• SQuAD에서 학습하고 DocVQA에서 미세조정한 모델가 DocVQA에서만 학습한 모델보다 성능이 뛰어나, 대규모 독해 이해 사전학습의 이점이 있음을 시사한다.
• M4C 모델은 VQA 기준 모델 중에서 가장 뛰어난 성능을 보였으며, 테스트 세트에서 ANLS가 0.665였지만, BERT 기반 모델에 비해 여전히 뒤져 있었다.
• OCR 부분 문자열 기반 모델은 85% 이상의 정확도를 기록했지만, '2'가 '2020'에 포함되어 있어 '2'를 답으로 삼는 등 잘못된 매칭(가짜 양성)으로 인해 오류가 발생했다.
• 질문 유형에 따라 성능이 크게 달라졌다: 모델은 레이아웃 기반 질문(예: 표의 구조나 그림의 위치 식별)에서 가장 어려움을 겪었고, 직접적인 텍스트 추출에서는 더 잘 수행했다.
• 인간 성능은 질문 유형 간에 일관되게 유지되었지만, 모델 성능는 크게 편차를 보였으며, 이는 현재 모델들이 특히 구조적 이해가 필요한 추론 유형으로의 일반화에 실패하고 있음을 시사한다.