[논문 리뷰] UniVSE: Robust Visual Semantic Embeddings via Structured Semantic Representations

Hao Wu, Jiayuan Mao외 5명|arXiv (Cornell University)|2019. 04. 11.

Multimodal Machine Learning Applications참고 문헌 45인용 수 4

한 줄 요약

UniVSE는 시각적·언어적 개념을 객체, 특성, 관계, 장면으로 인과적으로 분해하는 통합된 시각-언어 임베딩 공간을 제안하며, 의미 요소에 대한 대비 학습을 통해 정밀한 다중모odal 정렬을 가능하게 하고 의미 커버리지 강제로 강건성을 향상시킵니다. 이 방법은 다중모달 검색에서 최고 성능을 달성하며, 텍스트 도메인의 적대적 공격에 효과적으로 대응할 수 있고, 시각적 가이드를 통한 의미 해석을 가능하게 합니다.

ABSTRACT

We propose Unified Visual-Semantic Embeddings (UniVSE) for learning a joint space of visual and textual concepts. The space unifies the concepts at different levels, including objects, attributes, relations, and full scenes. A contrastive learning approach is proposed for the fine-grained alignment from only image-caption pairs. Moreover, we present an effective approach for enforcing the coverage of semantic components that appear in the sentence. We demonstrate the robustness of Unified VSE in defending text-domain adversarial attacks on cross-modal retrieval tasks. Such robustness also empowers the use of visual cues to resolve word dependencies in novel sentences.

연구 동기 및 목표

• 시각과 언어 간에 객체, 특성, 관계, 전체 장면을 정렬하는 통합적이고 인과적인 시각-언어 임베딩 공간을 구축하기.
• 대비 이미지-캡션 쌍을 이용한 교차 상황 학습을 통해 시각-언어 정렬의 참조 모호성을 해결하기.
• 객체 동시 발생 등의 데이터셋 편향을 줄이기 위해 캡션 인코더에 의미 커버리지 강제 적용하기.
• 다중모달 검색 작업에서 텍스트 도메인의 적대적 공격에 대한 강건성을 향상시키기.
• 특히 어순 관계와 의미 역할을 해결하는 데 시각적 신호가 도움이 되도록 새로운 문장을 해석하는 데에 시각적 가이드를 제공하기.

제안 방법

• 모델은 전체 문장이나 이미지가 아닌 의미 요소(예: 명사, 전치구)에 대한 대비 학습을 사용하여, 텍스트 어휘와 시각적 영역 간의 정밀한 정렬을 가능하게 합니다.
• 새로운 대비 예제 샘플링 전략을 통해 오직 하나의 의미 요소만 다를 경우(예: '벽' 대비 '선반')를 식별하여 참조 모호성을 해결합니다.
• 캡션 인코더에 의미 커버리지 정규화를 적용하여 문장 내 모든 의미 요소가 글로벌 캡션 임베딩에 의미 있게 기여하도록 보장합니다.
• 통합된 임베딩 공간은 시각적 영역과 텍스트 어휘를 다수 수준에서 함께 표현합니다: 객체(명사구), 특성(전형적 어미어구), 관계(동사/전치구), 전체 장면(문장).
• 이미지 영역과 쿼리 임베딩 간의 유사도 맵을 계산하여 의미 요소가 해당 시각적 영역와 정확히 정렬되었는지 시각적으로 확인합니다.
• 의미 해석을 위해 모델은 통합된 임베딩 공간을 사용하여 가능한 의존성 조합(예: 동사의 주어-목적어)을 점수 매기고, 시각적 매칭 기반으로 최고 점수를 받은 조합을 선택합니다.

실험 결과

연구 질문

• RQ1 의미 요소에 대한 대비 학습이 시각과 언어 간 정밀한 정렬을 향상시킬 수 있는가?
• RQ2 캡션 인코딩에 의미 커버리지 강제 적용이 텍스트 도메인의 적대적 편향에 대한 강건성을 향상시키는가?
• RQ3 통합된 임베딩 공간의 시각적 신호가 참조가 모호한 문장에서 의미 해석 정확도를 향상시킬 수 있는가?
• RQ4 다중모달 검색 작업에서 통합된 인과적 표현 방식이 종단 간 문장 수준 정렬과 비교해 어떻게 성능을 냅니다?
• RQ5 훈련 중에 보지 못한 새로운 문장에서 시각적 정보가 문법적 모호성을 얼마나 효과적으로 해결할 수 있는가?

주요 결과

• UniVSE는 단일 단어, 명사구, 관계어구, 전체 문장 등 모든 유형의 쿼리에서 다중모달 검색에서 최고 성능을 기록하며, VSE++, VSE-C 및 무작위 기준 모델을 모두 앞서며 최신 기준을 수립합니다.
• 모든 유형의 대비 요소를 사용한 모델(모든 유형의 대비 요소 포함)은 특히 단일 명사와 같은 정밀한 쿼리에서 뚜렷한 격차를 확보하여 가장 높은 검색 정확도를 달성합니다.
• 의미 커버리지 정규화는 강건성을 크게 향상시켜, 기존 모델을 속이기 쉬운 텍스트 도메인의 적대적 공격에 대해 UniVSE가 효과적으로 대응할 수 있음을 입증합니다.
• 시각적 신호를 활용한 의미 해석에서 UniVSE는 특성 부여된 객체 의존성 복원에서 64.82%의 정확도, 관계어구 해석에서 62.69%의 정확도를 기록하여 VSE++(41.12% 및 43.31%) 및 VSE-C(43.44% 및 41.08%)를 크게 앞섭니다.
• 유사도 맵의 시각화 결과는 UniVSE가 특정 의미 요소(예: '시계', '벽')를 해당 이미지 영역와 정확히 정렬함을 확인하였으며, 정밀한 공간 기반 정렬을 성공적으로 달성함을 보여줍니다.