[논문 리뷰] Modality-specific Cross-modal Similarity Measurement with Recurrent Attention Network

Yuxin Peng, Jinwei Qi외 1명|arXiv (Cornell University)|2017. 08. 16.

Multimodal Machine Learning Applications참고 문헌 42인용 수 3

한 줄 요약

이 논문은 공통 표현을 명시적으로 사용하지 않고 종단간 학습을 가능하게 하며, 모달리티별 의미를 별도로 모델링할 수 있도록 순환 주의망을 사용한 모달리티별 교차모달 유사도 측정(MCSM) 방법을 제안한다. 모달리티별 의미 공간과 적응형 융합을 활용하여 위키백과, 페스칼 문장, 그리고 저자들이 제작한 XMediaNet 데이터셋에서 9개의 최신 기술보다 뛰어난 성능을 보이며, 모달리티 간의 균형 잡히지 않은 상호보완적 관계를 효과적으로 포착함을 입증한다.

ABSTRACT

Nowadays, cross-modal retrieval plays an indispensable role to flexibly find information across different modalities of data. Effectively measuring the similarity between different modalities of data is the key of cross-modal retrieval. Different modalities such as image and text have imbalanced and complementary relationships, which contain unequal amount of information when describing the same semantics. For example, images often contain more details that cannot be demonstrated by textual descriptions and vice versa. Existing works based on Deep Neural Network (DNN) mostly construct one common space for different modalities to find the latent alignments between them, which lose their exclusive modality-specific characteristics. Different from the existing works, we propose modality-specific cross-modal similarity measurement (MCSM) approach by constructing independent semantic space for each modality, which adopts end-to-end framework to directly generate modality-specific cross-modal similarity without explicit common representation. For each semantic space, modality-specific characteristics within one modality are fully exploited by recurrent attention network, while the data of another modality is projected into this space with attention based joint embedding to utilize the learned attention weights for guiding the fine-grained cross-modal correlation learning, which can capture the imbalanced and complementary relationships between different modalities. Finally, the complementarity between the semantic spaces for different modalities is explored by adaptive fusion of the modality-specific cross-modal similarities to perform cross-modal retrieval. Experiments on the widely-used Wikipedia and Pascal Sentence datasets as well as our constructed large-scale XMediaNet dataset verify the effectiveness of our proposed approach, outperforming 9 state-of-the-art methods.

연구 동기 및 목표

• 다양한 모달리티를 단일 공통 공간에 투영함으로써 동일하게 취급하는 기존 교차모달 검색 방법의 한계를 해결하기 위해, 각 모달리티의 고유한 특성을 손실하지 않고 교차모달 유사도를 학습할 수 있도록 하는 것.
• 이미지가 텍스트에 기술되지 않은 세부 정보를 포함하거나 그 반대의 경우처럼, 서로 다른 모달리티 간의 균형 잡히지 않은 상호보완적 특성을 모델링하기 위해 각 모달리티에 대해 독립적인 의미 공간을 구축하는 것.
• 명시적인 공통 표현 없이 종단간 교차모달 유사도 학습을 가능하게 하며, 통합된 프레임워크를 통해 직접적으로 모달리티별 유사도를 생성하는 것.
• 모달리티별 의미 공간 간의 상호보완성을 적응형 융합을 통해 활용하여 검색 정확도를 향상시키는 것.

제안 방법

• 교차모달 상관관계 학습 중에 모달리티별 고유 특성을 유지하기 위해 각 모달리티(예: 이미지 및 텍스트)에 대해 독립적인 의미 공간을 구축하는 것.
• 주목적 기반 연속 임베딩 손실을 사용한 순환 주의망을 활용하여 내부 모달리티 간의 의존성과 주목적 가중치를 이용한 교차모달 표현 정렬을 모델링하는 것.
• 주목적 기반 연속 임베딩을 통해 한 모달리티의 데이터를 다른 모달리티의 의미 공간으로 투영함으로써 세분화된 상관관계 학습을 가능하게 하면서도 모달리티별 특징을 유지하는 것.
• 명시적인 공통 표현이 필요 없이 종단간 프레임워크를 통해 직접적으로 모달리티별 교차모달 유사도를 생성하는 것.
• 모달리티별 유사도의 기여도를 모달리티별 관련성에 따라 동적으로 가중하는 방식으로, 두 의미 공간의 유사도를 적응형 융합하는 것.
• 모든 네트워크를 종합 손실 함수를 통해 최적화함으로써, 모달리티별 표현 학습과 교차모달 유사도 학습을 통합하는 것.

실험 결과

연구 질문

• RQ1 이미지가 텍스트에 기술되지 않은 세부 정보를 포함하거나 그 반대의 경우처럼, 서로 다른 모달리티가 균형 잡히지 않은 정보를 제공할 때, 효과적으로 교차모달 유사도를 측정하는 방법은 무엇인가?
• RQ2 각 모달리티에 대해 독립적인 의미 공간이 공통된 공간에 비해 모달리티별 특성을 더 잘 유지할 수 있는가?
• RQ3 모달리티별 유사도의 적응형 융합은 단순 평균화나 후기 융합에 비해 교차모달 검색 성능을 향상시키는가?
• RQ4 제안된 방법은 다양한 교차모달 검색 벤치마크에서 최신 기술보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 위키백과 데이터셋에서 제안된 MCSM 방법은 평균 평균 정밀도(mAP) 0.598을 달성하여 다음으로 우수한 방법보다 유의미한 격차를 확보했다.
• 페스칼 문장 데이터셋에서 MCSM 방법은 mAP 0.598을 기록하여 두 번째로 우수한 방법보다 mAP 0.019 높게 기록했다.
• 대규모 XMediaNet 데이터셋에서 MCSM 방법은 mAP 0.545를 달성하여 강력한 일반화 및 확장성을 입증했다.
• 절단 실험 결과, 물체 수준의 의미를 포함하는 데이터셋(예: 페스칼 문장 및 XMediaNet)에서는 MCSM-image가 MCSM-text보다 뛰어나며, 고수준 의미를 포함하는 데이터셋(예: 위키백과)에서는 MCSM-text가 더 우수한 성능을 보여, 모달리티 정보의 균형 잡히지 않은 성격을 확인했다.
• 적응형 융합은 후기 융합(MCSM-LF)보다 항상 성능 향상을 보이며, 의미 공간 간의 상호보완성을 효과적으로 포착함을 입증했다.
• 모든 세 데이터셋에서 제안된 방법은 9개의 최신 기술보다 뛰어난 성능을 보이며, 교차모달 검색 분야에서의 효과성과 견고성을 입증했다.