[논문 리뷰] A Thousand Words Are Worth More Than a Picture: Natural Language-Centric Outside-Knowledge Visual Question Answering

Feng Gao, Ping Qing외 4명|arXiv (Cornell University)|2022. 01. 14.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 외부 지식을 활용하는 시각질문응답(OK-VQA)을 위한 새로운 자연어 중심 프레임워크인 TRiG를 제안한다. TRiG는 시각적 입력을 텍스트로 변환하여 대규모 언어 모델과 지식 기반을 활용한다. 시각-텍스트 변환, 검색, 생성형 QA를 분리함으로써 OK-VQA 벤치마크에서 기존 최고 성능 기준보다 11.1%p 향상시켰다.

ABSTRACT

Outside-knowledge visual question answering (OK-VQA) requires the agent to comprehend the image, make use of relevant knowledge from the entire web, and digest all the information to answer the question. Most previous works address the problem by first fusing the image and question in the multi-modal space, which is inflexible for further fusion with a vast amount of external knowledge. In this paper, we call for a paradigm shift for the OK-VQA task, which transforms the image into plain text, so that we can enable knowledge passage retrieval, and generative question-answering in the natural language space. This paradigm takes advantage of the sheer volume of gigantic knowledge bases and the richness of pre-trained language models. A Transform-Retrieve-Generate framework (TRiG) framework is proposed, which can be plug-and-played with alternative image-to-text models and textual knowledge bases. Experimental results show that our TRiG framework outperforms all state-of-the-art supervised methods by at least 11.1% absolute margin.

연구 동기 및 목표

• 시각-언어 임베딩 차원의 제약으로 인해 외부 지식이 제한되는 OK-VQA의 다중모달 융합 기반의 한계를 해결한다.
• 기존 방법들이 방대한 텍스트 지식을 압축된 다중모달 공간에 통합함으로써 유연성이 떨어지는 문제를 해결한다.
• 모든 입력을 자연어 공간에 통합함으로써 종단 간(end-to-end), 해석 가능하고 확장 가능한 OK-VQA를 가능하게 한다.
• 추출형 스패닝 예측 대신 비드 서치와 생성형 모델을 사용함으로써 답변 생성의 견고성을 향상시킨다.
• 언어 공간에서 투명한 어텐션 메커니즘을 통해 모델 실패 원인을 진단함으로써 해석 가능성 향상

제안 방법

• 3단계 TRiG 프레임워크 제안: 변환(캡션, 고밀도 레이블, OCR을 통한 이미지-텍스트 변환), 검색(DPR를 사용한 밀도 있는 파assage 검색, Natural Questions 데이터셋 기반), 생성(비드 서치를 사용한 생성형 QA).
• 이미지 캡션, 개체 검출 레이블, OCR을 조합한 다수준 이미지-텍스트 변환을 통해 시각적 정보 손실 최소화.
• Natural Questions 데이터셋에서 미리 훈련된 밀도 있는 파assage 검색(DPR) 모델을 활용해 높은 커버리지로 관련 지식 파assage를 검색.
• 교차 어텐션을 사용한 생성형 질문-답변 모델을 적용하여 시각적 맥락과 검색된 파assage를 모두 참조함으로써 자유형 답변 생성 가능.
• 추론 시 비드 서치를 적용하여 답변 품질과 견고성을 향상시키고, 어텐션 시각화를 통해 해석 가능성 확보.
• 모듈러리티를 고려해 플러그-앤플레이 형식으로 설계되어, 다른 이미지-텍스트 모델 및 텍스트 기반 지식 기반과의 통합이 가능하도록 설계

실험 결과

연구 질문

• RQ1 기존의 다중모달 융합 방식과 비교해 시각적 입력을 자연어로 변환하는 것이 외부 지식 기반 시각질문응답 성능 향상에 기여하는가?
• RQ2 캡션, 고밀도 레이블, OCR을 포함한 다수준 이미지-텍스트 변환이 후속 QA 작업에서 시각적 맥락을 얼마나 잘 유지하는가?
• RQ3 지식 기반 지도 없이도 밀도 있는 파assage 검색(DPR)이 기존의 BM25와 같은 전통적 방법보다 OK-VQA에 적합한 지식을 더 잘 검색하는가?
• RQ4 정답 스팬이 명시되어 있지 않은 OK-VQA 환경에서 비드 서치와 교차 어텐션을 사용한 생성형 QA 모델이 추출형 방법을 능가하는가?
• RQ5 언어 공간에서 어텐션 기반의 해석 가능성은 OK-VQA 모델의 오류 원인 진단에 얼마나 기여하는가?

주요 결과

• 비드 서치를 사용한 TRiG 프레임워크는 OK-VQA 테스트 세트에서 67.4점의 VQA 점수와 71.8%의 정확한 매칭(EM) 점수를 기록하여 기존 지도 학습 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 기존 최고 성능의 지도 학습 기반 기준보다 절대적으로 11.1%p 향상되어 언어 중심 파라다임의 효과성을 입증했다.
• 검색된 파assage 수(k)가 증가할수록 성능이 점진적으로 향상되며, k=25에서 포화 상태에 도달하지만, 커버리지(Hit@k)는 계속 증가함으로써 장꼬리(長尾) 검색 효과가 있음을 시사한다.
• 오류 분석 결과, 실패 원인의 50%는 이미지-텍스트 변환 과정에서의 정보 손실에서 기인하고, 24%는 열악한 검색, 22%는 생성형 QA 오류에서 기인함을 확인했다.
• 숫자 형 답변과 긴 답변은 예측이 특히 어려우며, 답변 길이가 길어질수록 성능 저하가 뚜렷하게 나타남.
• 모델의 어텐션 메커니즘은 관련된 시각적 및 텍스트적 증거를 강조함으로써 설명 가능한 해설을 제공하며, 오류의 근본 원인 진단이 가능하게 한다.