[논문 리뷰] Visual Entailment Task for Visually-Grounded Language Learning

Ning Xie, Farley Lai외 2명|arXiv (Cornell University)|2018. 11. 26.

Multimodal Machine Learning Applications참고 문헌 22인용 수 13

한 줄 요약

이 논문은 시각-언어 이해로의 텍스트 추론을 확장하는 새로운 다중모odal 작업인 시각적 함의(Visual Entailment, VE)를 소개한다. 이 작업은 이미지 전제와 텍스트 가설 간의 함의 관계를 판단한다. 저자들은 SNLI-VE 데이터셋과 새로운 미분 가능한 모델인 EVE를 제안하며, 이 모델은 자기주의(self-attention)와 교차주의(cross-attention) 메커니즘을 사용하여 이미지-텍스트 쌍에 대한 추론을 향상시킨다. 이 모델은 테스트 세트에서 71.4%의 정확도를 기록하여 기존의 VQA 기반 베이스라인을 초월한다.

ABSTRACT

We introduce a new inference task - Visual Entailment (VE) - which differs from traditional Textual Entailment (TE) tasks whereby a premise is defined by an image, rather than a natural language sentence as in TE tasks. A novel dataset SNLI-VE (publicly available at https://github.com/necla-ml/SNLI-VE) is proposed for VE tasks based on the Stanford Natural Language Inference corpus and Flickr30k. We introduce a differentiable architecture called the Explainable Visual Entailment model (EVE) to tackle the VE problem. EVE and several other state-of-the-art visual question answering (VQA) based models are evaluated on the SNLI-VE dataset, facilitating grounded language understanding and providing insights on how modern VQA based models perform.

연구 동기 및 목표

• 실제 세계의 이미지 전제를 사용하는 자연어 추론에서의 텍스트 전제 대체를 위한 잘 레이블링된 실질적 데이터셋의 부족을 해결하기 위해.
• 모델이 가설과 이미지 간의 함의, 중립성, 모순 관계를 추론해야 하는 새로운 다중모달 추론 작업인 시각적 함의(VE)를 개발하기 위해.
• 최신 VQA 모델이 VE에 일반화되는지 평가하고, 언어 편향과 중립 케이스에 대한 충분한 추론 부족과 같은 한계를 규명하기 위해.
• 시각-언어 추론 성능을 향상시키기 위해 내부 모odal 간 및 교차 모달 간 관계를 모델링하는 새로운 미분 가능한 아키텍처인 설명 가능한 시각적 함의(Explainable Visual Entailment, EVE) 모델을 제안하고 검증하기 위해.

제안 방법

• SNLI-VE 데이터셋은 SNLI 코퍼스의 텍스트 전제를 Flickr30k의 해당 이미지로 대체하여 구성되며, 원래의 가설-텍스트 쌍을 유지한다.
• EVE 모델은 이중 브랜치 아키텍처를 사용한다: 가설을 인코딩하기 위해 단어 임베딩에 대한 자기주의와 게이트드 순환 단위(GRU)를 사용하는 텍스트 브랜치, 그리고 CNN 특징 맵(EVE-Image) 또는 Mask R-CNN 객체 제안(EVE-ROI)을 사용하는 이미지 브랜치.
• EVE는 관련된 이미지 영역과 가설 토큰을 정렬하기 위해 텍스트-이미지 주의를 사용하여 기반 추론을 가능하게 한다.
• 자기주의는 텍스트 및 이미지 특징 공간 내에서 간단한 주의를 넘어서 내부 관계와 종속성을 포착하기 위해 적용된다.
• 모델는 도트곱 연산을 통해 주의를 기반으로 한 이미지 및 텍스트 특징을 융합하고, 최종 분류기로써 관계를 함의, 중립, 모순로 분류한다.
• 두 가지 변형이 평가되었으며, 각각 EVE-Image(특징 맵 사용)와 EVE-ROI(검출된 객체 영역 사용)이며, 성능 평가를 위한 분석 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 VQA에서 훈련된 시각-언어 모델이 더 세밀한 시각적 함의 작업에 효과적으로 일반화되는가, 특히 중립 클래스를 구분하는 데에?
• RQ2 가설 기반의 이미지 캡션을 전제로 사용하는 모델의 성능과 직접적인 이미지 기반 추론을 사용하는 모델의 성능는 VE에서 어떻게 비교되는가?
• RQ3 자기주의와 교차주의 메커니즘이 VQA에서 사용되는 표준 주의 메커니즘을 초월하여 시각적 함의 성능을 얼마나 향상시키는가?
• RQ4 객체 수준의 영역(ROIs)을 사용하는 것과 조밀한 CNN 특징을 사용하는 것 중 어느 것이 시각적 함의에서 더 좋은 일반화 성능을 낳는가?
• RQ5 SNLI 데이터셋 내재된 언어 편향이 VE 작업 성능에 어떤 영향을 미치며, 모델이 여전히 이러한 베이스라인을 뛰어넘을 수 있는가?

주요 결과

• 제안된 SNLI-VE 데이터셋은 공개되어 있으며, 실제 세계의 이미지와 자연어 가설을 사용한 시각적 함의에 대한 현실적인 벤치마크를 제공한다.
• 가설 전용 베이스라인은 67%의 정확도를 기록하여 강력한 하한선을 설정하였으며, 이는 모델이 의미 있는 성능을 내기 위해 이에 크게 뛰어나야 함을 시사한다.
• 이미지 캡션 베이스라인은 테스트 세트에서 단지 67.47%의 정확도를 기록하여, 생성된 캡션이 효과적인 함의 분류에 부적합하거나 정확도가 떨어짐을 시사한다.
• Attention Top-Down VQA 모델은 테스트 세트에서 70.59%의 정확도를 기록하여 주의 메커니즘이 시각적 추론에서 효과적임을 입증한다.
• EVE-Image는 테스트 세트에서 71.4%의 최고 성능을 기록하여, Attention Top-Down 및 Attention Bottom-Up을 포함한 모든 다른 베이스라인을 뛰어넘었다.
• 기존 모델 대비 EVE의 미미한 성능 향상은 이미지 및 텍스트 표현 내 복잡한 내부 관계를 포착하는 자기주의 덕분으로 기인한다.