[논문 리뷰] Visual Question Answering: A Survey on Techniques and Common Trends in Recent Literature

Ana Cláudia Akemi Matsuki de Faria, Felype de Castro Bastos외 5명|arXiv (Cornell University)|2023. 05. 18.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 종합 검토는 2020–2022년 기간 동안 시각질문응답(VQA) 연구에 대한 종합적이고 최신의 분석을 제공하며, 최근 29篇의 논문, 6개의 데이터셋, 최첨단 모델을 평가한다. 주요 추세로는 편향 완화, 지식 그래프를 통한 외부 지식 통합, 트랜스포머 기반 다중모odal 모델링을 강조하며, VQA 발전과 향후 연구 방향에 대한 새로운, 오픈 액세스이며 재현 가능한 개요를 제공한다.

ABSTRACT

Visual Question Answering (VQA) is an emerging area of interest for researches, being a recent problem in natural language processing and image prediction. In this area, an algorithm needs to answer questions about certain images. As of the writing of this survey, 25 recent studies were analyzed. Besides, 6 datasets were analyzed and provided their link to download. In this work, several recent pieces of research in this area were investigated and a deeper analysis and comparison among them were provided, including results, the state-of-the-art, common errors, and possible points of improvement for future researchers.

연구 동기 및 목표

• 2020–2022년 기간 동안의 최근 VQA 연구에 대한 종합적이고 최신의 검토를 제공하며, 새로운 기법과 추세에 중점을 둔다.
• 29篇의 최근 논문, 6개의 데이터셋, 최첨단 모델을 분석하고 비교하여 방법론적 다양성과 성능에 중점을 둔다.
• 데이터셋 편향, 표준화 부족, 고도의 계산 비용 등 공통 문제를 식별하고 논의한다.
• 외부 지식 주입, 지식 그래프 통합, 주의 메커니즘 모델링과 같은 새로운 추세를 강조하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 오픈 액세스 논문과 오픈 소스 데이터셋을 포함한 다운로드 가능한 링크를 제공하여 재현 가능성과 향후 연구를 지원한다.

제안 방법

• 2020년에서 2022년 사이에 출판된 29篇의 최근 VQA 논문에 대한 체계적 분석으로, 내용 품질, 오픈 액세스, 오픈 소스 가용성 기반으로 선정하였다.
• 주요 VQA 데이터셋 6개의 평가로, 데이터셋의 구조, 주석 방식, 일반화 및 편향 완화를 위한 벤치마킹에의 적합성을 분석하였다.
• 모델 아키텍처(CNN, RNN, 트랜스포머) 기반으로 VQA 모델를 분류하였으며, 주의 메커니즘과 다중모달 융합 전략에 중점을 두었다.
• 편향 완화 기법에 대한 조사로, 데이터 재분배, 아키텍처 분기(예: 콘텐츠 대 비교) 및 학습 프rotocol 재설계를 통한 임의의 상관관계 감소 기법을 분석하였다.
• 외부 지식 주입 방법에 대한 검토로, 특히 VQA 모델의 추론 및 맥락 이해 능력을 향상시키기 위해 외부 지식 그래프를 활용한 방법을 중심으로 분석하였다.
• 모델 및 데이터셋 평가를 위한 신규 디지털 프레임워크의 적용으로, 연구 간 성능 및 강건성에 대한 체계적 비교를 가능하게 하였다.

Figure 1: Example of how a VQA system works

실험 결과

연구 질문

• RQ1 2020년에서 2022년 사이에 VQA 연구에서 가장 두드러진 추세와 방법론적 혁신은 무엇인가?
• RQ2 최근 VQA 모델들은 훈련 데이터에서의 편향된 상관관계 문제를 어떻게 해결하는가?
• RQ3 지식 그래프와 같은 외부 지식 자료는 VQA 모델의 추론 능력과 일반화 능력을 어느 정도 향상시키는가?
• RQ4 현재 VQA 연구의 주요 제약 조건과 반복적인 약점은 무엇인가, 특히 데이터셋 표준화와 계산 비용 측면에서 말이다?
• RQ5 VQA 모델의 주의 메커니즘은 인간의 시각 주의와 어떻게 비교되며, 이를 더 잘 일치시키기 위해 어떤 개선이 이루어졌는가?

주요 결과

• 정확도를 평가 지표로 사용할 경우, LXMERT와 UpDn 백본이 VQA v2.0 데이터셋에서 가장 높은 성능을 기록하였다.
• 7개의 최근 연구에서 데이터 재분포, 아키텍처 분기(예: 콘텐츠 대 비교) 및 학습 프로토콜 재설계를 통해 임의의 상관관계에 대한 의존도 감소를 위해 편향 완화를 전담으로 추진하였다.
• 지식 그래프를 통한 외부 지식 주입은 특히 분포 외 일반화 작업에서 모델의 강건성과 맥락적 추론 능력을 크게 향상시켰다.
• 트랜스포머와 다중모달 주의 메커니즘은 널리 채택되었으며, 여러 연구에서 인간의 시각 주의를 더 잘 모방하기 위해 주의를 특징 함수로 모델링한 사례가 있었다.
• 진전이 있었음에도 불구하고, 대부분의 모델들이 여전히 정확도를 주요 평가 지표로 사용하고 있으며, 더 세밀하거나 인간 중심의 지표는 제한적으로 사용되고 있다.
• 다시 말해, 데이터셋 제작의 표준화 부족이 여전히 주요 과제로 남아 있으며, 많은 연구자가 자체 데이터셋을 개발함으로써 재현 가능성과 연구 간 비교를 어렵게 하고 있다.