[논문 리뷰] Learning Robust Visual-Semantic Embeddings

Yao-Hung Hubert Tsai, Liang-Kang Huang외 1명|arXiv (Cornell University)|2017. 03. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 1인용 수 21

한 줄 요약

이 논문은 자동에코더와 최대 평균 차이(MMD)를 통해 감독형 대비 학습과 비감독형 표현 학습을 융합하여 강력한 시각-의미적 임베딩을 공동으로 학습하는 엔드 투 엔드 프레임워크 ReViSE를 제안한다. 이 방법은 Animals with Attributes와 CUB-200-2011 데이터셋에서 제로샷 및 패기샷 이미지 인식 및 검색에서 최신 기준 성능을 달성하며, 이송 설정에서 AwA에서 93.4%의 top-1 정확도와 CUB에서 93.5%의 top-1 정확도를 기록한다.

ABSTRACT

Many of the existing methods for learning joint embedding of images and text use only supervised information from paired images and its textual attributes. Taking advantage of the recent success of unsupervised learning in deep neural networks, we propose an end-to-end learning framework that is able to extract more robust multi-modal representations across domains. The proposed method combines representation learning models (i.e., auto-encoders) together with cross-domain learning criteria (i.e., Maximum Mean Discrepancy loss) to learn joint embeddings for semantic and visual features. A novel technique of unsupervised-data adaptation inference is introduced to construct more comprehensive embeddings for both labeled and unlabeled data. We evaluate our method on Animals with Attributes and Caltech-UCSD Birds 200-2011 dataset with a wide range of applications, including zero and few-shot image recognition and retrieval, from inductive to transductive settings. Empirically, we show that our framework improves over the current state of the art on many of the considered tasks.

연구 동기 및 목표

• 다양한 모odal 간에 더 강력한 통합 시각-의미적 임베딩을 학습하여 제로샷 및 패기샷 이미지 인식 및 검색을 향상시키는 것.
• 기존 방법이 감독형 쌍화된 데이터에만 의존하는 한계를 보완하기 위해 비감독형 표현 학습을 통해 레이블이 없는 데이터를 통합하는 것.
• 최대 평균 차이(MMD) 손실을 사용하여 시각적 및 텍스처적 임베딩의 분포를 정렬함으로써 시각적 및 텍스처적 표현 간의 도메인 이동을 줄이는 것.
• 비감독형 데이터 적응 추론 기법을 통해 모델의 일반화 능력과 강건성을 향상시키고, 레이블이 있는 및 없는 예측의 임베딩 품질을 향상시키는 것.

제안 방법

• 프레임워크는 시각적 및 텍스처적 특징에 대해 별도의 자동에코더를 사용하며, 재구성 손실을 통해 레이블이 있는 및 없는 데이터로부터 의미 있는 표현을 학습한다.
• 교차 모달 MMD 손실을 도입하여 시각적 및 텍스처적 코드 표현 간의 분포 불일치를 최소화함으로써 통합 임베딩 공간에서의 보다 나은 정렬을 촉진한다.
• 테스트 단계에서 비감독형 데이터 적응 추론 기법을 적용하여 레이블이 없는 예측을 개선하고 일반화 능력 및 성능을 향상시킨다.
• 전반적인 목표는 감독형 대비 손실(이미지-텍스트 쌍 정렬을 위한)과 비감독형 MMD 손실(도메인 정렬을 위한)을 조합하여 엔드 투 엔드 방식으로 공동 최적화한다.
• 모델는 감독형 및 비감독형 손실의 가중 조합을 사용하여 훈련되며, 초모델 파라미터 β와 λ는 검증 분할에서 교차 검증을 통해 조정된다.
• 모델는 유도적 및 이송 설정 모두에서 평가되며, 아블레이션 스터디를 통해 각 구성 요소의 기여도를 확인하였으며, 특히 MMD와 비감독형 적응 단계의 기여가 두드러졌다.

실험 결과

연구 질문

• RQ1 감독형 및 비감독형 표현 학습을 융합함으로써 제로샷 및 패기샷 학습 설정에서 시각-의미적 임베딩의 강건성을 향상시킬 수 있는가?
• RQ2 MMD 기반의 분포 정렬은 시각적 및 텍스처적 특징 공간 간의 도메인 이동을 얼마나 효과적으로 줄이는가?
• RQ3 제안된 비감독형 데이터 적응 추론 기법은 레이블이 없는 테스트 예측에서 성능을 크게 향상시키는가?
• RQ4 통합 훈련 목표에서 감독형 및 비감독형 손실 구성 요소 간의 최적의 균형은 무엇인가?
• RQ5 다양한 데이터셋과 설정에서 최신 기준 방법과 비교해 볼 때 제안된 ReViSE 프레임워크는 정확도 및 일반화 능력 측면에서 어떻게 성능을 내는가?

주요 결과

• ReViSE는 이송 설정에서 Animals with Attributes (AwA) 데이터셋에서 93.4%의 top-1 정확도와 CUB-200-2011 (CUB) 데이터셋에서 93.5%의 top-1 정확도를 기록하며, 이는 이전 최신 기준 방법을 초월한다.
• 아블레이션 스터디는 MMD 손실이 시각적 및 텍스처적 코드 간의 분포 불일치를 크게 줄임을 확인하였으며, MMD가 없는 변형(ReViSE†)보다 ReViSE 모델이 일관되게 낮은 MMD 거리를 보였다.
• 제안된 비감독형 데이터 적응 추론 기법은 성능 향상에 상당한 기여를 하였으며, 이 기법이 없는 기준 모델 대비 정확도가 10% 이상 향상되었다.
• α(비감독형 손실의 가중치)가 1.0을 초과할 경우 성능이 정체됨을 확인하여, 비감독형 손실이 감독형 지도 학습을 지배해서는 안 된다는 점을 시사한다.
• 인간이 애너테이션한 속성을 가진 CUB 데이터셋에서 ReViSE는 이송 설정에서 65.4%의 top-1 정확도를 기록하였으며, 이는 이전 최고 성능 방법(SMS ESZSL의 61.6%)을 초월한다.
• CUB에서 제로샷 검색의 정밀도-재현율 곡선은 ReViSE가 모든 재현율 수준에서 뛰어난 검색 성능을 보이며, 교차 모달 검색에서의 강건성을 확인한다.