[논문 리뷰] Emerging Trends of Multimodal Research in Vision and Language.

Shagun Uppal, Sarthak Bhagat외 5명|arXiv (Cornell University)|2020. 10. 19.

Multimodal Machine Learning Applications참고 문헌 325인용 수 4

한 줄 요약

이 논문은 다중모态 시각-언어 연구의 새로운 추세에 대한 종합적인 조사 보고서를 제공하며, 의미 인식과 콘텐츠 생성 분야에서의 작업 정의, 평가 전략, 과제를 분석한다. 최근 문헌의 통찰을 통해 모듈러하고 투명한 AI 시스템으로 향하는 핵심 방향을 규명한다.

ABSTRACT

Deep Learning and its applications have cascaded impactful research and development with a diverse range of modalities present in the real-world data. More recently, this has enhanced research interests in the intersection of the Vision and Language arena with its numerous applications and fast-paced growth. In this paper, we present a detailed overview of the latest trends in research pertaining to visual and language modalities. We look at its applications in their task formulations and how to solve various problems related to semantic perception and content generation. We also address task-specific trends, along with their evaluation strategies and upcoming challenges. Moreover, we shed some light on multi-disciplinary patterns and insights that have emerged in the recent past, directing this field towards more modular and transparent intelligent systems. This survey identifies key trends gravitating recent literature in VisLang research and attempts to unearth directions that the field is heading towards.

연구 동기 및 목표

• 시각-언어 다중모달 연구 분야의 최근 발전에 대한 상세한 개요 제공.
• 시각 및 언어 모odal리티 간의 의미 인식과 콘텐츠 생성 분야에서의 작업 특화 추세 분석.
• 평가 전략을 검토하고 분야 내 열린 과제를 규명.
• 더 모듈러하고 해석 가능한 지능형 시스템 개발을 이끄는 다학제적 패턴 강조.
• 최근 문헌에서 도출된 핵심 연구 방향을 통해 분야의 발전 궤적을 맵핑.

제안 방법

• 최근 시각-언어 연구 분야의 문헌을 체계적으로 검토하여 주요 추세와 패턴 규명.
• 문제 정의에 중점을 두고 연구 작업을 의미 인식과 콘텐츠 생성으로 분류.
• 다양한 시각-언어 작업에서 사용된 평가 방법론 분석.
• 모odal리티 정렬, 일반화, 해석 가능성과 같은 반복적인 과제 규명.
• 다학제적 연구의 통찰을 융합하여 모듈러하고 투명한 AI 시스템 설계를 이끌 가이드라인 도출.
• 주제 분석을 활용하여 분야 내 신규 연구 방향과 기술적 전환점 밝힘.

실험 결과

연구 질문

• RQ1 현재 시각-언어 연구에서 지배적인 작업 정의는 무엇인가?
• RQ2 복잡한 다중모달 작업의 요구에 부응하기 위해 평가 전략은 어떻게 변화하고 있는가?
• RQ3 시각-언어 이해 및 생성 분야에서 진전을 가로막는 주요 과제는 무엇인가?
• RQ4 다학제적 통찰은 더 투명하고 모듈러한 AI 시스템 개발에 어떻게 기여하고 있는가?
• RQ5 향후 시각-언어 연구의 방향을 규정짓는 신규 연구 방향은 무엇인가?

주요 결과

• 최근 연구는 시각적 및 언어적 콘텐츠의 통합적 이해와 생성에 점점 더 초점이 맞춰져 있으며, 의미 인식에 강한 중시가 이루어지고 있다.
• 평가 전략은 다중모달 추론의 복잡성에 맞게 점점 더 작업 특화되고 세밀해지고 있다.
• 다학제적 통찰에서 비롯된 모듈러하고 해석 가능한 시스템으로의 추세가 뚜렷이 나타나고 있다.
• 모달리티 정렬, 내구성, 일반화와 관련된 과제는 여전히 지속적인 연구의 중심에 있다.
• 구조적이고 구성 요소 기반의 시스템 설계를 통해 더 투명하고 설명 가능한 AI로의 전환을 분야가 이룩하고 있다.
• 콘텐츠 생성 작업은 트랜스포머 기반 아키텍처의 영향으로 이미지 캡션 생성과 시각적 질의 응답 분야에서 급속도로 발전하고 있다.