[논문 리뷰] VQA and Visual Reasoning: An Overview of Recent Datasets, Methods and Challenges

Rufai Yusuf Zakari, Jim Wilson Owusu외 4명|arXiv (Cornell University)|2022. 12. 26.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 시각질문응답(VQA) 및 시각적 추론 분야에서 최근의 데이터셋, 방법, 과제에 대한 종합적인 조사를 제공하며, 다중모odal 표현 학습에 중점을 둔다. 최신 기술 모델을 검토하고 데이터셋 편향과 평가 한계 등의 문제를 강조하며, 추론, 외부 지식 통합, 통계적 단서를 넘어서는 강건성 향상을 위한 향후 연구 방향을 제시한다.

ABSTRACT

Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.

연구 동기 및 목표

• 최근의 VQA 및 시각적 추론 데이터셋, 모델, 평가 지표에 대한 철저한 검토를 제공하기 위해.
• 최신 기술 VQA 모델의 핵심 설계 원칙과 아키텍처 혁신을 분석하기 위해.
• 데이터셋 편향, 언어적 편향, 개방형 질문 평가의 한계와 같은 지속적인 과제를 특정하기 위해.
• 외부 지식과 추론의 역할이 모델 일반화 능력을 향상시키는 데 어떻게 기여하는지 탐색하기 위해.
• AI 시스템에서 강건하고 인간 수준의 시각적 및 언어적 이해를 발전시키기 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• CLEVR, GQA, VQA v2.0, VizWb 등을 포함한 20개 이상의 주요 VQA 및 시각적 추론 데이터셋에 대한 체계적 검토.
• 주의 기반, 그래프 신경망, 다중모달 트랜스포머 아키텍처로 나누어 VQA 방법 분류.
• 주의 메커니즘과 동적 에피소드 학습을 통해 시각적 및 언어적 특징을 융합하는 CM-VQA와 같은 엔드 투 엔드 학습 프레임워크 분석.
• ResNet에서 유도한 시각적 특징과 BERT와 같은 문맥 기반 언어 표현을 통합하는 모델 아키텍처 검토.
• 상위 1 정확도와 정확한 일치도와 같은 표준 지표를 사용한 성능 평가로 다중선택형 및 개방형 질문 형식에 중점을 두기.
• 반복적 추론 모듈과 지식 증강 주의와 같은 추론 능력을 향상시키는 아키텍처 패턴 식별.

실험 결과

연구 질문

• RQ1 질문의 복잡성과 추론 요구 사항 측면에서 VQA 및 시각적 추론 데이터셋 간의 핵심 특성과 차이점은 무엇인가?
• RQ2 최신 기술 모델은 시각적 및 언어적 특징을 어떻게 통합하여 추론 성능을 향상시키는가?
• RQ3 기존 VQA 데이터셋에서 주요 편향 원천은 무엇이며, 이는 모델 일반화에 어떤 영향을 미치는가?
• RQ4 다중선택형 및 개방형 질문 평가 프로토콜이 왜 성능 평가에서 갈리게 되는가?
• RQ5 외부 지식 및 지식 그래프는 어떻게 효과적으로 통합되어 VQA 시스템의 언어적 및 시각적 편향을 줄일 수 있는가?

주요 결과

• 현재 최신 기술 VQA 모델은 특히 다중선택형 설정에서 시각적 콘텐츠보다 언어적 단서에 더 의존하는 경향이 있어 강한 언어 편향이 드러난다.
• CLEVR와 GQA와 같은 데이터셋은 현실 세계의 편향을 최소화하고 다단계 추론을 요구하여 진정한 시각적 추론 평가에 더 적합하다.
• 개방형 VQA 평가는 여전히 도전 과제이며, 대부분의 모델이 다중선택형 형식에 최적화되어 있어 자유형 답변에 대한 일반화 능력이 열악하다.
• 지식 그래프와 같은 외부 지식 소스의 통합은 언어적 편향을 줄이고 복잡한 추론 과제에서 모델의 강건성을 향상시킬 수 있다.
• 실제 데이터가 제한된 상황에서 특히, 분포 외 질문과 합성 데이터를 다룰 수 있는 모델의 필요성이 점점 커지고 있다.
• 진전이 있었음에도 불구하고, 구성적이고 관계적 이해 측면에서 최신 기술 모델과 인간 수준의 추론 간에 여전히 큰 성능 격차가 존재한다.