[논문 리뷰] Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods

Aditya Mogadala, Marimuthu Kalimuthu외 1명|arXiv (Cornell University)|2019. 07. 22.

Multimodal Machine Learning Applications참고 문헌 423인용 수 87

한 줄 요약

이 종합 검토는 10개의 핵심 시각-언어 통합 작업에 대한 포괄적인 분석을 제공하며, 각 작업의 정의, 데이터셋, 방법, 평가 지표 및 최신 성과를 검토한다. 이는 다중모달 표현 학습, 특히 시각-언어 사전학습 분야의 발전을 통합적으로 분석하고, 더 견고하고 일반화 능력이 뛰어난 다중모달 AI 시스템을 위한 열린 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Interest in Artificial Intelligence (AI) and its applications has seen unprecedented growth in the last few years. This success can be partly attributed to the advancements made in the sub-fields of AI such as machine learning, computer vision, and natural language processing. Much of the growth in these fields has been made possible with deep learning, a sub-area of machine learning that uses artificial neural networks. This has created significant interest in the integration of vision and language. In this survey, we focus on ten prominent tasks that integrate language and vision by discussing their problem formulation, methods, existing datasets, evaluation measures, and compare the results obtained with corresponding state-of-the-art methods. Our efforts go beyond earlier surveys which are either task-specific or concentrate only on one type of visual content, i.e., image or video. Furthermore, we also provide some potential future directions in this field of research with an anticipation that this survey stimulates innovative thoughts and ideas to address the existing challenges and build new applications.

연구 동기 및 목표

• narrow, 작업에 특화된 검토를 넘어서 10개의 주요 시각-언어 통합 작업에 대한 통합적이고 심층적인 종합 검토를 제공하기 위해.
• 이러한 작업들 간의 기존 데이터셋, 평가 지표, 최신 기법들을 체계적으로 비교하기 위해.
• 하류 다중모달 작업에서의 성능 향상에 기여하는 공동 시각-언어 사전학습의 역할과 효과를 분석하기 위해.
• 일반화 및 추론 능력 측면에서 특히 지속적인 한계와 열린 과제를 규명하기 위해.
• 다중모달 AI 분야의 구체적이고 실행 가능한 향후 연구 방향을 제시함으로써 향후 연구를 자극하기 위해.

제안 방법

• 입력/출력 모odal의 특성과 목표에 기반해 10개의 핵심 시각-언어 작업을 분류하고 정의한다.
• 각 작업에 대한 기존 데이터셋을 검토하고 분류하며, 그들의 규모, 주석 방식, 커버리지 등을 강조한다.
• 주의 메커니즘, 크로스 어텐션, 다중모달 트랜스포머(예: LXMERT, UNITER, ViLBERT)와 같은 기법을 사용한 최신 기법을 분석한다.
• BLEU, CIDEr, ROUGE, FID, 정확도와 같은 표준 평가 지표를 사용하여 성능을 평가하고, 다양한 기법 간의 정량적 비교를 수행한다.
• 대규모 이미지-텍스트 쌍에서 공유 표현을 학습하는 데 사용되는 공동 사전학습 프레임워크(예: VLP, UNITER, OSCAR)를 분석한다.
• 각 10개 작업에 대해 사전학습 방법의 호환성을 맵핑하고, 이들의 이식 가능성과 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 시각-언어 통합 분야에서 가장 두드러진 10개의 작업은 무엇이며, 어떻게 정의되는가?
• RQ2 이러한 작업에 사용되는 기존 데이터셋은 규모, 주석 품질, 작업 복잡도 측면에서 어떻게 다름?
• RQ3 특히 공동 사전학습을 포함한 모델 아키텍처와 학습 전략 중에서 이 작업들 전반에서 가장 높은 성능을 내는 것은 무엇인가?
• RQ4 현재 모델들이 복합적 추론, 분포 외 예측, 시각적 기반 설정을 처리하는 데 겪는 주요 한계는 무엇인가?
• RQ5 다중모달 이해 분야에서 인간 수준 성능와 모델 수준 성능 간 격차를 해소하기 위해 어떤 향후 연구 방향을 설정할 수 있는가?

주요 결과

• 시각-언어 사전학습(VLP)은 모든 10개 작업에서 성능 향상에 크게 기여하며, UNITER 및 LXMERT와 같은 모델은 여러 벤치마크에서 최신 기준 성능을 달성한다.
• 복합적 추론이 필요한 작업들(예: VQA, CLEVR-CoGenT)은 여전히 도전 과제로 남아 있으며, 모델들은 분포 외 또는 복잡한 관계 질의에서 자주 실패한다.
• 이미지 캡션 생성과 시각적 질문 응답은 표준 벤치마크(예: MS-COCO, VQA v2.0)에서 뛰어난 성능을 보이지만, CIDEr와 정확도 지표는 여전히 인간 수준의 성능에 못 미친다.
• 대규모 데이터셋(예: Conceptual Captions, COCO)에서 학습된 다중모달 사전학습 모델은 최소한의 피니팅으로도 하류 작업에 더 잘 일반화된다.
• CIDEr와 SPICE와 같은 평가 지표는 언어의 유창성에 민감하지만 사실 정확성에는 덜 민감하여, 더 견고한 평가가 필요함을 시사한다.
• 진전이 있었음에도 불구하고, 모델들은 장거리 의존성, 시각적 추론, 복잡한 장면에서의 기반 설정을 다루는 데 여전히 어려움을 겪고 있으며, 인간 수준 이해에 도달하기까지 큰 격차가 있음을 시사한다.