[논문 리뷰] Document Visual Question Answering Challenge 2020

Minesh Mathew, Rubèn Tito외 3명|arXiv (Cornell University)|2020. 08. 20.

Multimodal Machine Learning Applications참고 문헌 6인용 수 10

한 줄 요약

이 논문은 2020년 문서 시각질문응답(VQA) 챌린지(Document Visual Question Answering, DocVQA)를 제시하며, 단일 문서 이미지에 대한 VQA(과제 1)와 문서 이미지 컬렉션에 대한 VQA(과제 2)의 두 가지 과제를 도입한다. 과제 1에 대해 12,767개의 문서 이미지에 걸쳐 50,000개의 질문-답변 쌍을 포함한 새로운 벤치마크를 제안하며, 과제 2에 대해서는 14,362개의 템플릿 일치 US 후보 등록서를 제공한다. 최상위 제출 결과에서 ANLS 점수 0.85와 MAP 0.8090의 최신 기술 수준 성능을 달성하였다.

ABSTRACT

This paper presents results of Document Visual Question Answering Challenge organized as part of "Text and Documents in the Deep Learning Era" workshop, in CVPR 2020. The challenge introduces a new problem - Visual Question Answering on document images. The challenge comprised two tasks. The first task concerns with asking questions on a single document image. On the other hand, the second task is set as a retrieval task where the question is posed over a collection of images. For the task 1 a new dataset is introduced comprising 50,000 questions-answer(s) pairs defined over 12,767 document images. For task 2 another dataset has been created comprising 20 questions over 14,362 document images which share the same document template.

연구 동기 및 목표

• 문서 특화 VQA 연구의 격차를 메우기 위해 문서 이미지에 대한 시각질문응답을 위한 대규모 벤치마크를 구축하기 위해.
• 단일 문서 이미지에 대한 추출형 QA와 문서 컬렉션에 대한 검색 기반 VQA를 모두 평가하기 위해.
• 통합 VQA 프레임워크 내에서 장면 텍스트 인식과 시각적 추론을 융합함으로써 문서 이해 분야의 연구를 촉진하기 위해.
• 모델 간 일관된 비교를 위해 ANLS 및 MAP 메트릭을 사용하는 표준화된 평가 프로토콜을 제공하기 위해.

제안 방법

• 과제 1의 경우, 질문-답변 쌍 형식을 사용하여 단일 문서 이미지에 포함된 텍스트에서 직접 답을 추출하도록 모델을 훈련시키는 방법을 사용한다.
• 평가의 주요 지표로 평균 정규화 레벤슈타인 유사도(ANLS)를 사용하여 답의 정확도를 평가한다.
• 과제 2의 경우, 질문의 관련성에 기반해 대규모 컬렉션에서 관련 문서 이미지를 검색하는 방법을 사용하며, 성능은 평균 평균 정밀도(MAP)로 측정된다.
• 동일한 점수를 가진 양성 문서가 기본 순서에 의해 편향되지 않도록 하기 위해, 동점 수준의 양성 문서를 모두 뒤로 밀어 순서 일관성을 확보한다.
• 모델의 일반화 능력을 평가하기 위해 9종류의 질문 유형(예: 양식, 표/목록, 레이아웃, 수기)을 포함한다.
• 모델 훈련 및 평가를 지원하기 위해 모든 문서에 대해 상용 OCR 전사본을 제공한다.

실험 결과

연구 질문

• RQ1 질문의 답이 반드시 시각적으로 보이는 텍스트에서 엄격히 유도되는 조건에서, 모델은 단일 문서 이미지에 대한 추출형 VQA에서 얼마나 잘 수행할 수 있는가?
• RQ2 질문에 답하기 위해 대규모 컬렉션에서 관련 문서를 검색하는 데 있어 VQA 모델의 성능은 어떠한가?
• RQ3 다양한 질문 유형(예: 양식, 표, 수기)은 문서 VQA에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 OCR 전사본은 문서 이미지에서의 VQA 성능 향상에 어느 정도 기여하는가?
• RQ5 동일한 양식이 다른 방식으로 작성되었을 때(예: 타자기로 작성된 것 vs. 수기로 작성된 것), 모델은 양식 템플릿 간 일반화가 가능한가?

주요 결과

• 과제 1에서 최상위 성능을 낸 모델은 ANLS 점수 0.85를 기록하여 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 과제 2에서 우승한 모델인 PingAn의 DQA는 MAP 점수 0.8090을 기록하여 강력한 검색 성능을 입증하였다.
• 과제 2의 제출된 모든 모델이 질문에 대한 답을 제공하지 않았으며, 이는 강력한 검색 성능에도 불구하고 답변 생성 능력에 여전히 격차가 있음을 시사한다.
• 최고 성능을 낸 모델들은 질문 유형 간 일반화 능력이 뛰어나, 특히 '양식', '표/목록', '레이아웃' 질문에 대해 높은 ANLS 점수를 기록하였다.
• 최고 성능 모델과 기준 모델 간 성능 격은 뚜렷했으며, 최고 모델은 최하위 모델보다 ANLS 기준 0.5 이상 높은 성능을 보였다.
• 상용 OCR 전사본의 사용이 성능 격차를 완전히 메워주지 못했으며, 이는 시각적 추론과 레이아웃 이해 능력이 여전히 핵심 요소로 남아 있음을 시사한다.