[논문 리뷰] Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning

Yizhen Zhang, Minkyu Choi외 2명|arXiv (Cornell University)|2021. 11. 13.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 교차 모달 대비 학습을 사용하여 언어 표현을 시각에 기반으로 하여, 독립형 언어 모델이 의미적으로 해석 가능하고 시각적으로 기반된 임베딩을 학습할 수 있도록 하는 이중 스트림 모델을 제안한다. 결과적으로 생성된 의미 공간은 직관적이고 시각적으로 구분 가능한 군집을 보이며, 조합적 추론과 다중모달 이미지 검색을 지원한다. 성능은 MS COCO 및 Visual Genome 데이터셋에서 검증되었다.

ABSTRACT

In natural language processing, most models try to learn semantic representations merely from texts. The learned representations encode the distributional semantics but fail to connect to any knowledge about the physical world. In contrast, humans learn language by grounding concepts in perception and action and the brain encodes grounded semantics for cognition. Inspired by this notion and recent work in vision-language learning, we design a two-stream model for grounding language learning in vision. The model includes a VGG-based visual stream and a Bert-based language stream. The two streams merge into a joint representational space. Through cross-modal contrastive learning, the model first learns to align visual and language representations with the MS COCO dataset. The model further learns to retrieve visual objects with language queries through a cross-modal attention module and to infer the visual relations between the retrieved objects through a bilinear operator with the Visual Genome dataset. After training, the language stream of this model is a stand-alone language model capable of embedding concepts in a visually grounded semantic space. This semantic space manifests principal dimensions explainable with human intuition and neurobiological knowledge. Word embeddings in this semantic space are predictive of human-defined norms of semantic features and are segregated into perceptually distinctive clusters. Furthermore, the visually grounded language model also enables compositional language understanding based on visual knowledge and multimodal image search with queries based on images, texts, or their combinations.

연구 동기 및 목표

• 분포적 의미론의 한계를 해결하기 위해, 물리적 세계에 기반하지 않는 NLP의 표현을 시각과 통합함으로써 언어 표현 학습에 기반을 두기 위해.
• 해석 가능하고 신경생물학적으로 타당한 의미 공간을 생성하는 시각 기반 언어 모델을 개발하기 위해.
• 통합된 연속적인 의미 공간을 사용하여 조합적 언어 이해와 다중모달 이미지 검색을 가능하게 하기 위해.
• 시각적 기반 학습이 단어 임베딩의 시각적 특성에 따른 군집화를 향상시키고 인간의 의미 기준과 예측적으로 일치시킨다는 것을 입증하기 위해.

제안 방법

• MS COCO에서 교차 모달 대비 학습을 통해 공동으로 훈련된 VGG 기반의 시각 스트림과 BERT 기반의 언어 스트림을 갖춘 이중 스트림 아키텍처.
• 교차 모달 대비 손실은 풀링된 특징의 코사인 유사도를 사용하여 공유된 임베딩 공간에서 이미지와 텍스트 표현을 정렬한다.
• 교차 모달 어텐션 모듈은 시각적 특징 맵과 문맥 기반 단어 임베딩 간의 매칭 맵을 계산하여 언어 쿼리의 시각적 기반을 가능하게 한다.
• 이중선형 연산자는 Visual Genome 데이터셋에서 학습된 관계를 사용하여 검색된 객체 간의 시각적 관계를 추론한다.
• 최종 언어 스트림은 미세조정되어 의미 공간 분석과 다중모달 검색을 위한 독립형 모델로 사용된다.
• 유연한 이미지 검색을 가능하게 하기 위해 다중모달 쿼리는 이미지 및 텍스트 임베딩의 가중 조합(α ∈ [0,1])으로 구성된다.

실험 결과

연구 질문

• RQ1 교차 모달 대비 학습을 통한 시각적 기반 학습이 인간의 감각적 및 신경생물학적 지식과 일치하는 해석 가능한 의미 공간을 생성할 수 있는가?
• RQ2 기반 학습이 어떻게 시각적 특성과 의미적 특징에 따라 단어 임베딩의 군집화를 향상시키는가?
• RQ3 시각 기반 언어 모델이 '줄무늬가 있는 말'이라는 의미를 '제브라'로 인식하는 것과 같은 조합적 언어 이해를 지원할 수 있는가?
• RQ4 통합된 연속적인 의미 공간이 이미지 및 텍스트 쿼리를 조합하여 다중모달 이미지 검색을 얼마나 잘 지원할 수 있는가?

주요 결과

• 기반된 의미 공간은 인간 평가 및 신경생물학적 발견과 일치하는 구체적에서 추상적 의미 변화의 주요 차원을 보이며, 이는 일관성을 띈다.
• 단어 임베딩은 감각적으로 명확히 구분되는 군집으로 조직되어 있으며, 세분화된 시각적 특성에 대해 높은 군집 정확도를 보인다.
• 모델의 언어 스트림은 인간이 정의한 의미 기준과 예측적으로 일치하여, 더 높은 해석 가능성의 증거가 된다.
• 다양한 α 가중치를 가진 다중모달 쿼리는 논리적으로 일관된 이미지 검색 결과를 생성한다 — 예를 들어 α 가 증가함에 따라 제브라의 무늬에서 일반적인 말로의 전이가 관찰된다.
• 모델은 이중선형 상호작용을 통해 시각적 및 언어적 특징의 결합을 통해 '줄무늬가 있는 말'이 '제브라'임을 인식하는 것과 같은 조합적 추론을 가능하게 한다.
• 이 방법은 이미지 및 텍스트 쿼리의 연속적인 혼합이 직관적이고 점진적인 검색 결과를 제공함으로써, 공통의 기반된 의미 공간 존재를 검증한다.