[논문 리뷰] Multi-level Multimodal Common Semantic Space for Image-Phrase Grounding

Hassan Akbari, Svebor Karaman외 4명|arXiv (Cornell University)|2018. 11. 28.

Multimodal Machine Learning Applications참고 문헌 64인용 수 6

한 줄 요약

이 논문은 비선형 맵핑을 통해 깊이 있는 시각적 특징과 문맥 기반 텍스트 임bedding(예: ELMo)을 공유 공간으로 매핑하여 코사인 유사도를 통해 정렬을 가능하게 하는 다중 수준 다중모odal 공통 의미 공간을 제안한다. 각 쿼리에 대해 가장 관련성이 높은 시각-의미 수준을 다중 수준 주의 메커니즘이 선택하며, 세 가지 벤치마크 데이터셋에서 상대적 향상률 20%-60%를 기록하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We address the problem of phrase grounding by lear ing a multi-level common semantic space shared by the textual and visual modalities. We exploit multiple levels of feature maps of a Deep Convolutional Neural Network, as well as contextualized word and sentence embeddings extracted from a character-based language model. Following dedicated non-linear mappings for visual features at each level, word, and sentence embeddings, we obtain multiple instantiations of our common semantic space in which comparisons between any target text and the visual content is performed with cosine similarity. We guide the model by a multi-level multimodal attention mechanism which outputs attended visual features at each level. The best level is chosen to be compared with text content for maximizing the pertinence scores of image-sentence pairs of the ground truth. Experiments conducted on three publicly available datasets show significant performance gains (20%-60% relative) over the state-of-the-art in phrase localization and set a new performance record on those datasets. We provide a detailed ablation study to show the contribution of each element of our approach and release our code on GitHub.

연구 동기 및 목표

• 약한 지도 학습을 사용하여 자연어 어휘를 이미지 내에서 국소화하는 과제를 해결한다.
• 고정된 바운딩 박스 제안 또는 전역 이미지 특징에 의존하는 이전 방법의 한계를 극복한다.
• 비선형적이고 다중 수준인 공통 의미 공간을 학습하여 시각적 및 텍스트적 특징 간의 교차 모odal 정렬을 향상시킨다.
• 다중 수준 다중모달 주의 메커니즘을 통해 각 단어별로 시각적 특징을 민첩하게 선택할 수 있도록 한다.
• 바운딩 박스 애너테이션 없이 이미지-문장 쌍을 사용하는 약한 지도 학습 프레임워크를 통해 문장 국소화 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 다양한 해상도의 특징 맵을 깊이 있는 CNN(예: VGG 또는 PNASNet)에서 추출하여 다중 해상도 시각적 표현을 캡처한다.
• 문자 기반 언어 모델(예: ELMo)을 사용해 문맥 기반 단어 및 문장 임베딩을 활용하여 더 풍부한 텍스트 표현을 확보한다.
• 시각적 특징과 텍스트 임베딩을 공유되는 공통 의미 공간으로 변환하기 위해 전용 비선형 맵핑을 적용한다.
• 각 시각적 및 텍스트적 수준에서 주의 히트맵을 계산하는 다중 수준 다중모달 주의 메커니즘을 도입한다.
• 공통 공간 내에서 코사인 유사도를 사용해 각 쿼리에 가장 적합한 시각-의미 수준을 선택한다.
• 바운딩 박스 애너테이션 없이 이미지-문장 쌍을 사용하는 약한 지도 학습 방식으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 단일 수준 또는 선형 맵핑 접근 방식에 비해 다중 수준 공통 의미 공간이 문장 국소화 성능 향상에 기여하는가?
• RQ2 시각적 및 텍스트적 특징에 비선형 맵핑을 적용할 경우 정렬 정확도에 어떤 영향을 미치는가?
• RQ3 문맥 기반 텍스트 임베딩(예: ELMo)을 사용할 경우 정적 또는 비문맥 기반 임베딩 대비 성능 향상 정도는 어느 정도인가?
• RQ4 각 단어나 어휘에 대해 최적의 시각-의미 수준을 선택하는 다중 수준 주의 메커니즘이 국소화 정밀도 향상에 기여하는가?
• RQ5 주의 히트맵에 소프트맥스를 적용할 경우 성능 및 유연성 측면에서 어떤 영향을 미치는가?

주요 결과

• 이 모델은 Flickr30k, COCO, Visual Genome에서 이전 방법 대비 상대적 향상률 20%에서 60%까지 기록하며 새로운 최신 기술 수준 성능을 달성한다.
• 제거 실험 결과 비선형 맵핑이 시각적 및 텍스트적 특징 양쪽 모두 필수적임을 입증하며, 선형 맵핑으로 대체할 경우 성능이 크게 저하됨을 확인했다.
• 문맥 기반 텍스트 임베딩(예: ELMo)을 사용할 경우 단어 임베딩 위에 BiLSTM을 학습하는 것보다 성능 향상이 뚜렷하게 나타남을 확인했다.
• 주의 히트맵에 소프트맥스를 적용할 경우 성능 저하가 발생함을 확인했으며, 이는 유연한 특징 선택을 제한하는 강제 분포를 유도하기 때문이다.
• 수준 선택 기능을 갖춘 다중 수준 주의 메커니즘이 고정 레이어 기반 베이스라인에 비해 유의미하게 뛰어난 성능을 보이며, 동적 수준 선택의 가치를 입증한다.
• 복잡하거나 드문 어휘(예: 'bronco')를 성공적으로 국소화하며 어려운 조건에서도 일반화 능력을 보였지만, 의미적으로 유사하거나 과노출된 영역에서는 가끔 실패하는 경우가 있었다.