[논문 리뷰] Deep Fragment Embeddings for Bidirectional Image Sentence Mapping

Andrej Karpathy, Armand Joulin외 1명|arXiv (Cornell University)|2014. 06. 22.

Multimodal Machine Learning Applications참고 문헌 40인용 수 723

한 줄 요약

이 논문은 시각적 객체와 언어적 의존 관계를 공유 다중모달 공간에 조각 단위로 통합하는 딥러닝 모델을 제안한다. 이는 정확도와 해석 가능성 향상으로 이어지는 双방향 이미지-문장 검색을 가능하게 한다. 전역 순위 손실 외에 조각 정렬 목적함수를 도입함으로써, Flickr30K, Pascal1K, Flickr8K에서 최신 기준 성능을 달성하였으며, 이미지 설명 생성 과제에서 Flickr30K의 R@1이 16.4%에 달하고 문장 검색 과제에서는 10.3%를 기록하였다.

ABSTRACT

We introduce a model for bidirectional retrieval of images and sentences through a multi-modal embedding of visual and natural language data. Unlike previous models that directly map images or sentences into a common embedding space, our model works on a finer level and embeds fragments of images (objects) and fragments of sentences (typed dependency tree relations) into a common space. In addition to a ranking objective seen in previous work, this allows us to add a new fragment alignment objective that learns to directly associate these fragments across modalities. Extensive experimental evaluation shows that reasoning on both the global level of images and sentences and the finer level of their respective fragments significantly improves performance on image-sentence retrieval tasks. Additionally, our model provides interpretable predictions since the inferred inter-modal fragment alignment is explicit.

연구 동기 및 목표

• 이미지 조각(객체)과 문장 조각(의존 관계) 간의 세밀한 대응 관계를 모델링하여 이중 방향 이미지-문장 검색 성능을 향상시키기.
• 모델의 설명 가능성을 높이기 위해 다중모달 조각 정렬을 명시적으로 학습하고 시각화하기.
• 이미지와 문장을 단일 통합 표현으로 간주하는 전역 임베딩 모델의 한계를 해결하기.
• 시각적 조각과 언어적 조각 간의 대응을 직접 유도하는 새로운 손실 함수인 조각 정렬 손실을 개발하기.
• 전역 수준과 조각 수준에서의 추론이 함께 이루어질 경우 검색 성능 향상이著しく 이루어진다는 것을 입증하기.

제안 방법

• 모델은 이미지에서 객체 제안과 특징을 추출하기 위해 컨volutional neural network(Faster R-CNN)을 사용하며, 검출된 각 객체를 시각적 조각으로 간주한다.
• 문장을 의존 관계 분석기로 처리하여 유형이 부여된 의존 관계(예: AMOD, CONJ, SBJ)를 추출하며, 각 관계를 언어적 조각으로 간주한다.
• 시각적 조각과 언어적 조각은 공유 파라미터를 가진 딥 네트워크를 통해 동일한 다중모달 임베딩 공간에 매핑된다.
• 모델은 병합된 손실을 최적화한다: 전역 순위 손실은 올바른 이미지-문장 쌍이 더 높은 점수를 얻도록 보장하고, 조각 정렬 손실은 모달 간에 대응하는 조각을 정렬하도록 유도한다.
• 조각 정렬 손실은 최대 마진 목적함수로 구성되며, 긍정적 조각 쌍(예: '검은 개')이 부정적 쌍보다 더 높은 유사도를 가지도록 유도한다.
• 모델은 엔드 투 엔드로 훈련되며, 표준 벤치마크에서 Recall@K 및 중앙값 순위와 같은 검색 메트릭을 통해 평가된다.

실험 결과

연구 질문

• RQ1 전체 표현이 아닌 이미지 조각(객체)과 문장 조각(의존 관계)을 모델링함으로써 이미지-문장 검색 성능 향상이 가능할까?
• RQ2 조각 수준의 정렬 목적함수를 도입하면 전역 순위만 고려하는 것보다 일반화 능력과 정확도 향상이 이루어질까?
• RQ3 학습된 조각 정렬이 언어를 시각적 장면에 어떻게 기반시키는지 보여주는 해석 가능한 예측을 제공할 수 있을까?
• RQ4 학습 어휘 외의 새로운 객체 속성이나 OOV(Out-of-Vocabulary) 개념에 대해 모델이 얼마나 잘 일반화될 수 있을까?
• RQ5 조각 수준 표현이 복잡한 시각-언어적 대응을 포괄하는 데 단어 수준 또는 어구 수준 표현보다 더 나은가?

주요 결과

• 이 모델은 Flickr30K 이미지 설명 생성 과제에서 R@1이 16.4%를 기록하여 DeViSE(4.5%) 및 전역 순위 베이스라인(11.5%)을 크게 앞서며 성능 향상을 입증하였다.
• Flickr30K 문장 검색 과제에서 모델은 R@1이 10.3%에 도달하여 DeViSE(6.7%) 및 전역 순위 베이스라인(8.8%)을 초월하였다.
• 조각 정렬 목적함수의 추가로 Flickr30K 이미지 설명 과제에서 중앙값 순위가 14에서 10으로 감소하여 보다 빠른 정답 도달을 나타내었다.
• 정성적 분석 결과, 모델은 설명 가능한 정렬을 생성함을 확인하였다. 예를 들어, '검은 개'라는 표현을 이미지의 검은 개에 정확히 연결하는 것으로 나타났다. 이는 속성이 ImageNet에 포함되지 않은 경우에도 성립한다.
• ImageNet 감지 클래스에 포함되지 않은 OOV 개념인 '재킷'과 '바위 토양' 등에도 일반화 가능함을 확인하여, 새로운 속성에 대한 강건성을 보였다.
• CNN의 파인튜닝을 통해 성능 향상이 이루어졌으며, 이미지 설명 과제에서 R@1이 16.4%로 유지되고 중앙값 순위가 8로 향상되어 공동 최적화의 가치를 입증하였다.