[논문 리뷰] Aligning Visual Regions and Textual Concepts for Semantic-Grounded Image Representations

Fenglin Liu, Yuanxin Liu외 3명|arXiv (Cornell University)|2019. 05. 15.

Multimodal Machine Learning Applications참고 문헌 43인용 수 45

한 줄 요약

본 논문은 Mutual Iterative Attention(MIA)을 도입하여 시각 영역과 텍스트 개념을 정렬하고, 다양한 기반에서 이미지 캡션 생성 및 VQA를 개선하는 의미 기반 이미지 표현을 제시한다.

ABSTRACT

In vision-and-language grounding problems, fine-grained representations of the image are considered to be of paramount importance. Most of the current systems incorporate visual features and textual concepts as a sketch of an image. However, plainly inferred representations are usually undesirable in that they are composed of separate components, the relations of which are elusive. In this work, we aim at representing an image with a set of integrated visual regions and corresponding textual concepts, reflecting certain semantics. To this end, we build the Mutual Iterative Attention (MIA) module, which integrates correlated visual features and textual concepts, respectively, by aligning the two modalities. We evaluate the proposed approach on two representative vision-and-language grounding tasks, i.e., image captioning and visual question answering. In both tasks, the semantic-grounded image representations consistently boost the performance of the baseline models under all metrics across the board. The results demonstrate that our approach is effective and generalizes well to a wide range of models for image-related applications. (The code is available at https://github.com/fenglinliu98/MIA)

연구 동기 및 목표

• 시각 영역과 텍스트 개념을 함께 반영하는 통합 이미지 표현의 필요성을 동기화한다.
• 감독 없이 다중 모달 특징을 반복적으로 정렬하고 통합하는 메커니즘(MIA)을 제안한다.
• 이미지 캡션 생성 및 VQA 데이터셋에서 기반 모델의 일반화를 입증한다.
• 의미 기반 표현이 모델 아키텍처와 특징 유형에 걸쳐 강건하다는 것을 보여준다.

제안 방법

• 이미지를 격자(grid) 또는 RoI와 같은 시각적 특징과 시각적 단어와 같은 텍스트 개념으로 쌍으로 표현한다.
• 다중 헤드 어텐션 기법과 피드포워드 정제를 포함하는 도메인 간 특징 정렬을 위해 Mutual Attention을 사용한다.
• 공유 파라미터를 갖는 N번의 상호 주의 적용으로 I_N 및 T_N을 산출하고, 이를 MIA(I,T)=LayerNorm(I_N+T_N)으로 결합한다.
• 정렬된 감독 없이 다운스트림 작업(캡션 생성 및 VQA)에 MIA를 통합하여 비감독 학습 방식의 트레이닝을 적용한다.
• 최적의 검증 성능을 위해 8개의 어텐션 헤드(k=8)와 2회의 반복(N=2)과 같은 구현 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 상호 모달 정렬(MIA)이 downstream 비전-언어 작업을 개선하는 의미 기반 이미지 표현을 생성할 수 있는가?
• RQ2 통합 표현이 이미지 캡션 생성 및 VQA 기반선 전체에서 전통적인 단일 도메인 특징보다 우수한가?
• RQ3 반복 횟수는 정렬 품질과 작업 성능에 어떤 영향을 미치는가?
• RQ4 개선이 단순히 다른 모달리티의 특징을 더하는 것이 아닌 의미 기반 때문인가?
• RQ5 MIA가 서로 다른 시각적 특징(grid vs RoI) 및 텍스트 개념 집합에 걸쳐 일반화되는가?

주요 결과

• MIA는 이미지 캡션 생성( SPICE 및 CIDEr 향상 ) 및 VQA 정확도에서 기반선을 일관되게 개선한다.
• 통합 표현을 사용하면 모델이 별도 특징이 아닌 의미 기반 특징 모음에 주의를 기울일 수 있다.
• MIA는 RNN 기반(Up-Down) 캡션 모델과self-attention(Transformer) 캡션 모델 모두에서 이득을 달성하고, VQA v2.0에서 BAN/Up-Down을 개선한다.
• 단일 모달 입력도 MIA로 정제되면 개선이 나타나고, I_N과 T_N을 모두 결합하면 더 큰 이득이 나타난다.
• 반복 분석에서 최적 성능은 대략 N=2 근처에서 나타나며, 너무 많은 반복은 정보를 과도하게 집중시켜 성능이 감소할 수 있다.