[논문 리뷰] Toward 3D Spatial Reasoning for Human-like Text-based Visual Question Answering

Hao Li, Jinfa Huang외 4명|arXiv (Cornell University)|2022. 09. 21.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 텍스트 기반 시각질문응답(TextVQA)를 위한 3D 공간 추론 프레임워크인 DA-Net을 제안한다. 이는 깊이 인식 기하 정보를 통합하여 공간 이해를 향상시킨다. 객체-텍스트 현지화를 위한 관계 예측 모듈과 OCR 토큰의 주의를 보정하기 위한 깊이 인식 주의 보정 모듈을 도입함으로써, DA-Net은 기존 방법보다 TextVQA와 ST-VQA에서 각각 공간 추론 질문에 대해 5.7%와 12.1% 향상된 최고 성능을 달성한다.

ABSTRACT

Text-based Visual Question Answering~(TextVQA) aims to produce correct answers for given questions about the images with multiple scene texts. In most cases, the texts naturally attach to the surface of the objects. Therefore, spatial reasoning between texts and objects is crucial in TextVQA. However, existing approaches are constrained within 2D spatial information learned from the input images and rely on transformer-based architectures to reason implicitly during the fusion process. Under this setting, these 2D spatial reasoning approaches cannot distinguish the fine-grain spatial relations between visual objects and scene texts on the same image plane, thereby impairing the interpretability and performance of TextVQA models. In this paper, we introduce 3D geometric information into a human-like spatial reasoning process to capture the contextual knowledge of key objects step-by-step. %we formulate a human-like spatial reasoning process by introducing 3D geometric information for capturing key objects' contextual knowledge. To enhance the model's understanding of 3D spatial relationships, Specifically, (i)~we propose a relation prediction module for accurately locating the region of interest of critical objects; (ii)~we design a depth-aware attention calibration module for calibrating the OCR tokens' attention according to critical objects. Extensive experiments show that our method achieves state-of-the-art performance on TextVQA and ST-VQA datasets. More encouragingly, our model surpasses others by clear margins of 5.7\% and 12.1\% on questions that involve spatial reasoning in TextVQA and ST-VQA valid split. Besides, we also verify the generalizability of our model on the text-based image captioning task.

연구 동기 및 목표

• 기존 TextVQA 모델이 객체와 시나리오 텍스트 사이의 미세한 2D 공간 관계를 구분하는 데에 한계가 있음을 해결한다.
• 추론 과정에 3D 기하 정보를 통합하여 해석 가능성과 공간 추론 성능을 향상시킨다.
• 시각적 실체와 OCR 토큰 사이의 깊이 인식 공간 관계를 모델링하여 인간과 유사한 공간 추론을 가능하게 한다.
• 제안된 방법이 TextVQA를 초월해 텍스트 기반 이미지 캡션화 작업으로까지 일반화됨을 보여준다.
• 깊이 정보를 활용하여 2D 공간 추론에서 발생하는 겹치는 경계 상자로 인한 오염된 결과를 극복한다.

제안 방법

• 깊이 인식 특징을 사용하여 핵심 객체와 OCR 토큰 사이의 미세한 3D 공간 관계를 예측하는 관계 예측 모듈을 제안한다.
• 핵심 객체의 공간적 근접도와 깊이를 기반으로 OCR 토큰의 주의 점수를 재가중하는 깊이 인식 주의 보정 모듈을 도입한다.
• 사전 훈련된 깊이 추정 모델에서 유도된 3D 기하 정보를 트랜스포머 기반 아키텍처의 다중모odal 융합 과정에 통합한다.
• 먼저 핵심 객체를 식별하고, 그 3D 공간적 맥락을 기반으로 OCR 주의를 보정하는 단계별 추론 파이프라인을 사용한다.
• 절대 공간 좌표와 깊이 값을 활용하여 다중모달 융합 과정 중 시각-언어 표현을 풍부하게 한다.
• 답안 예측을 위한 교차 엔트로피 손실과 공간 관계 기반 지도를 위한 관계 예측 헤드를 함께 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 3D 기하 정보를 통합하면 2D 공간 특징을 초월해 TextVQA에서 공간 추론 정확도가 향상되는가?
• RQ2 깊이 인식 주의 보정이 복잡한 시나리오에서 관련 OCR 토큰에 주의를 기울이는 데에 모델 성능을 어떻게 향상시키는가?
• RQ3 관계 예측 모듈이 공간적으로 모호한 경우의 현지화 및 추론 성능을 어느 정도 향상시키는가?
• RQ4 제안된 3D 공간 추론 프레임워크는 텍스트 기반 이미지 캡션화와 같은 다른 비전-언어 작업으로 일반화되는가?
• RQ5 SOTA 2D 기반 방법과 비교해 모델은 도전적인 공간 추론 질문에서 어떤 성능을 보이는가?

주요 결과

• DA-Net은 TextVQA 데이터셋에서 최고 성능을 기록했으며, 이전 최고 성능 모델보다 공간 추론 서브셋에서 5.7% 향상되었다.
• ST-VQA 데이터셋에서 DA-Net은 공간 추론 검증 분할에서 기준 모델 대비 12.1%의 절대적 향상을 달성했다.
• 텍스트 기반 캡션화 벤치마크인 TextCaps에서 DA-Net은 새로운 SOTA CIDEr-D 점수 96.80과 BLEU-4 점수 24.35를 기록했다.
• 제거 실험을 통해 관계 예측 모듈과 깊이 인식 주의 보정이 성능 향상에 기여하는 것으로 확인되었다.
• 시각화 결과에서 DA-Net은 '위에', '아래에' 등의 공간 관계를 정확히 식별하고, 특히 겹치는 객체-OCR 시나리오에서 간섭 요소에 주의를 기울이지 않는 것으로 나타났다.
• OCR 검출 노이즈에 대해 강건하며, 다양한 시각-언어 추론 작업으로 잘 일반화됨을 보였다.