[논문 리뷰] Image-Text Multi-Modal Representation Learning by Adversarial Backpropagation

Gwangbeen Park, Woobin Im|arXiv (Cornell University)|2016. 12. 26.

Multimodal Machine Learning Applications참고 문헌 1인용 수 25

한 줄 요약

이 논문은 이미지-텍스트 쌍 데이터가 필요 없이 카테고리 레이블만을 사용하여 적대적 역전파를 활용한 새로운 이미지-텍스트 다중모달 표현 학습 방법을 제안한다. 기울기 반전을 통한 도메인 불변 손실을 통해 공유 임베딩 네트워크를 훈련시켜, 이미지와 텍스트 분포를 효과적으로 혼합하는 보편적이고 의미적으로 풍부한 특징을 학습하며, 쌍 데이터에 대한 지도 학습 없이도 강력한 제로샷 의미 검색 성능을 달성한다.

ABSTRACT

We present novel method for image-text multi-modal representation learning. In our knowledge, this work is the first approach of applying adversarial learning concept to multi-modal learning and not exploiting image-text pair information to learn multi-modal feature. We only use category information in contrast with most previous methods using image-text pair information for multi-modal embedding. In this paper, we show that multi-modal feature can be achieved without image-text pair information and our method makes more similar distribution with image and text in multi-modal feature space than other methods which use image-text pair information. And we show our multi-modal feature has universal semantic information, even though it was trained for category prediction. Our model is end-to-end backpropagation, intuitive and easily extended to other multi-modal learning work.

연구 동기 및 목표

• 훈련에 고비용으로 수작업된 이미지-텍스트 쌍이 필요한 기존 다중모달 학습 방법의 한계를 해결하기 위해.
• 이미지와 텍스트가 쌍으로 제공되지 않지만 공통된 카테고리 레이블을 공유하는 환경에서 다중모달 표현 학습을 가능하게 하기 위해.
• 이미지 및 텍스트 모odal 간에 도메인 불변성, 카테고리 구별 능력, 의미적으로 보편적인 특징을 학습하는 방법을 개발하기 위해.
• 카테고리 예측을 위한 훈련만으로도 보편적인 의미 정보가 유지될 수 있음을 입증하기 위해.
• 기타 모달(예: 사운드-이미지, 비디오-텍스트 등)으로 쉽게 확장 가능한 일반적이고 종단 간(end-to-end), 역전파 기반 프레임워크를 제공하기 위해.

제안 방법

• VGG-16 및 Word2Vec/TextCNN 특징를 사용하여 이미지와 텍스트를 함께 인코딩하는 다중모달 임베딩 네트워크를 도입한다.
• 다중모달 특징가 분류에 대한 판별력을 유지할 수 있도록 카테고리 예측 헤드를 훈련시킨다.
• 이미지와 텍스트를 구분하는 도메인 분류기(도메인 분류기)를 도메인 불변성을 강제하기 위해 기울기 반전을 통해 적대적으로 훈련시킨다.
• 기울기 반전 레이어(GRL)를 사용하여 역전파 시 기울기를 반전 방향으로 전파함으로써, 공유 임베딩 공간에서 이미지와 텍스트 도메인 간 구분이 불가능한 특징을 학습할 수 있도록 한다.
• 표준 역전파를 사용하여 전체 모델을 종단 간으로 훈련시키며, 카테고리 예측을 위한 교차 엔트로피 손실과 도메인 불변성에 대한 적대적 손실을 조합한 손실 함수를 사용한다.
• 공유된 다중모달 임베딩 공간에서 k-최근접 이웃을 계산하여 제로샷 검색을 수행한다.

실험 결과

연구 질문

• RQ1 이미지-텍스트 쌍 데이터에 의존하지 않고도 다중모달 표현을 효과적으로 학습할 수 있는가?
• RQ2 임베딩 공간에서의 적대적 도메인 적응이 쌍 기반 방법에 비해 이미지 및 텍스트 모달 간 분포 혼합을 더 잘 이끌어내는가?
• RQ3 카테고리 예측을 위한 훈련만으로도 제로샷 검색에 유용한 보편적인 의미 정보를 유지할 수 있는가?
• RQ4 제안된 방법이 검색 벤치마크에서 최신의 쌍 기반 모델들과 비교해 성능가 얼마나 우수한가?
• RQ5 제안된 방법은 이미지-텍스트를 초월해 다른 다중모달 학습 과제에도 일반화 가능한가?

주요 결과

• t-SNE 시각화를 통해 다중모달 공간에서 이미지와 텍스트 특징가 균형 있게 분포되어 잘 혼합된 클러스터를 보여주어 효과적인 특징 혼합을 확인하였다.
• 쌍 데이터에 대한 지도 학습 없이도 카테고리 예측을 위한 훈련만으로도 다중모달 특징가 보편적인 의미 정보를 유지하며, 정확한 제로샷 문장-이미지 검색을 가능하게 하였다.
• MS COCO 1000 테스트 세트를 사용한 문장-이미지 검색에서 R@1이 10.3%, R@5가 35.5%를 기록하여, 쌍 데이터가 없는 상황임에도 불구하고 카테고리 기반 베이스라인을 초월하는 성능을 달성하였다.
• 다중모달 특징(Image+Text(m))의 카테고리 분류 정확도가 다소 감소(예: 일부 설정에서 약 40%에서 약 30%로)했지만, 이는 다중모달 융합 과정에서의 정보 손실가 최소한도에 그쳤음을 시사한다.
• 쿼리에 카테고리 레이블에 포함되지 않은 개념(예: [person, tie] 카테고리에 포함되지 않은 'woman under trees')이 포함되어 있어도 의미적으로 관련된 이미지를 성공적으로 검색함으로써 의미적 일반화 능력을 입증하였다.
• 제안된 방법은 강건하고 일반화 가능하다: 동일한 종단 간 역전파 프레임워크를 사용해 사운드-이미지, 비디오-텍스트 등 다른 모달로 쉽게 확장할 수 있다.