[논문 리뷰] Learning Shared Multimodal Embeddings with Unpaired Data.

AJ Piergiovanni, Michael S. Ryoo|arXiv (Cornell University)|2018. 06. 21.

Human Pose and Action Recognition참고 문헌 2인용 수 5

한 줄 요약

이 논문은 쌍체 데이터와 비쌍체 데이터를 모두 활용하여 텍스트와 비디오 간의 공유 다중모odal 임베딩을 학습하는 방법을 제안한다. 적대적 훈련을 통해 정렬을 향상시키며, 이는 제로샷 활동 분류, 비지도 활동 탐지, 그리고 미사용 활동 캡션 생성에서 성능을 크게 향상시킨다. 이는 최소한의 감독 하에 공동 임베딩 학습의 효과성을 입증한다.

ABSTRACT

In this paper, we propose a method to learn a joint multimodal embedding space. We compare the effect of various constraints using paired text and video data. Additionally, we propose a method to improve the joint embedding space using an adversarial formulation with unpaired text and video data. In addition to testing on publicly available datasets, we introduce a new, large-scale text/video dataset. We experimentally confirm that learning such a shared embedding space benefits three difficult tasks (i) zero-shot activity classification, (ii) unsupervised activity discovery, and (iii) unseen activity captioning.

연구 동기 및 목표

• 다양한 모odal 간에 텍스트 및 비디오 표현을 정렬하는 공동 다중모달 임베딩 공간을 학습하는 것.
• 쌍체 텍스트 및 비디오 데이터를 사용한 공동 임베딩 학습에 다양한 제약 조건의 영향을 조사하는 것.
• 비쌍체 텍스트 및 비디오 데이터를 사용한 적대적 설정을 통해 공유 임베딩 공간의 품질을 향상시키는 것.
• 제로샷 일반화가 요구되는 어려운 후행 작업에서 학습된 임베딩을 평가하는 것.
• 다중모달 표현 학습을 위한 벤치마킹을 위해 새로운 대규모 텍스트/비디오 데이터셋을 제안하는 것.

제안 방법

• 모델은 깊은 신경망을 훈련시켜 텍스트 및 비디오 입력을 동일한 잠재 공간으로 매핑함으로써 공유 임베딩 공간을 학습한다.
• 유사한 의미의 텍스트-비디오 쌍이 가까운 임베딩을 가지도록 하기 위해 쌍체 데이터를 사용한 대비 학습을 적용한다.
• 비쌍체 텍스트 및 비디오 데이터를 사용하여 임베딩 공간을 정교화하기 위해 적대적 훈련 구성 요소를 도입한다. 이는 일반화 능력을 향상시킨다.
• 적대적 설정은 진짜와 생성된 텍스트-비디오 쌍을 구분하는 판별자(Discriminator)를 사용하며, 생성자(generator)가 더 정렬된 표현을 생성하도록 유도한다.
• 정렬과 다양성을 최적화하기 위해 대비 손실과 적대적 손실의 조합을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 훈련 및 평가를 지원하기 위해 새로운 대규모 텍스트/비디오 데이터셋을 구축하였으며, 이는 강력한 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 쌍체 텍스트 및 비디오 데이터를 기반으로 훈련할 때, 다양한 제약 조건이 공동 다중모달 임베딩 품질에 어떤 영향을 미치는가?
• RQ2 비쌍체 데이터를 사용한 적대적 훈련이 학습된 다중모달 임베딩의 정렬 및 일반화 능력을 향상시킬 수 있는가?
• RQ3 공유 임베딩 공간은 미세조정 없이 제로샷 활동 분류에 얼마나 효과적으로 기여하는가?
• RQ4 표현된 행동 카테고리가 없는 상황에서, 학습된 표현은 비지도 활동 탐지에 얼마나 효과적인가?
• RQ5 공유 임베딩 공간만을 사용하여 미사용 활동에 대해 정확한 캡션을 생성할 수 있는가?

주요 결과

• 제안된 방법은 공유 임베딩 공간을 활용하여 제로샷 활동 분류에서 최상의 성능을 달성한다.
• 비지도 활동 탐지는 개선된 정렬을 가진 공동 임베딩 공간으로부터 크게 이점을 얻는다.
• 모델은 새로운 활동에 대해 사전 노출 없이도 강력한 일반화 능력을 보이며, 정확한 캡션 생성이 가능하다.
• 비쌍체 데이터를 적대적 훈련을 통해 활용함으로써, 감독 학습 전용 기준 대비 임베딩 품질에 명백한 향상이 이루어진다.
• 새로운 대규모 데이터셋은 더 강력한 평가를 가능하게 하며, 다양한 비디오 콘텐츠에 걸쳐 메서드의 확장성을 확인한다.