[논문 리뷰] Deep Matching Autoencoders

Tanmoy Mukherjee, Makoto Yamada외 1명|arXiv (Cornell University)|2017. 11. 16.

Multimodal Machine Learning Applications참고 문헌 38인용 수 13

한 줄 요약

딥 매칭 오토에인코드어(DMAE)는 딥 오토에인코드어와 커널 타겟 어울림(KTA) 및 제곱손실 상호정보(SMI)와 같은 통계적 종속성 측정법을 사용하여, 쌍화되지 않은 다중모달 데이터에서 공유 잠재 표현을 공동으로 학습하고 개체 쌍을 추론한다. 이 방법은 효과적인 비지도, 준지도, 완전지도 교차모달 학습을 가능하게 하여 이미지 캡션 생성에서 최신 기술 수준의 성능을 달성하며, 쌍화된 데이터가 없는 경우 AwA에서 32%의 정확도로 새로운 비지도 분류기 학습 작업을 가능하게 한다.

ABSTRACT

Increasingly many real world tasks involve data in multiple modalities or views. This has motivated the development of many effective algorithms for learning a common latent space to relate multiple domains. However, most existing cross-view learning algorithms assume access to paired data for training. Their applicability is thus limited as the paired data assumption is often violated in practice: many tasks have only a small subset of data available with pairing annotation, or even no paired data at all. In this paper we introduce Deep Matching Autoencoders (DMAE), which learn a common latent space and pairing from unpaired multi-modal data. Specifically we formulate this as a cross-domain representation learning and object matching problem. We simultaneously optimise parameters of representation learning auto-encoders and the pairing of unpaired multi-modal data. This framework elegantly spans the full regime from fully supervised, semi-supervised, and unsupervised (no paired data) multi-modal learning. We show promising results in image captioning, and on a new task that is uniquely enabled by our methodology: unsupervised classifier learning.

연구 동기 및 목표

• 실제 응용에서 자주 이용 가능하거나 희박한 쌍화된 학습 데이터를 요구하는 기존 교차모달 학습 방법의 한계를 해결한다.
• 쌍화되지 않은 데이터에서 표현 학습과 시각 간 객체 매칭을 공동으로 최적화할 수 있는 딥 표현 학습 프레임워크를 개발한다.
• 완전지도, 준지도, 비지도를 포함한 모든 수준의 지도 학습을 하나의 통합 프레임워크로 효과적으로 가능하게 한다.
• 쌍화되지 않은 이미지와 임베딩 풀에서 이미지-카테고리 쌍이 제공되지 않는 조건에서도 이름이 지정된 카테고리에 대한 분류기를 학습하는 새로운 작업인 비지도 분류기 학습(UCL)을 도입하고 해결한다.
• 기존 연구에서 사용하는 테스트용 데이터셋을 넘어서 실제 시각 및 언어 데이터에서 이 방법의 확장성과 효과성을 입증한다.

제안 방법

• 각 모달리티(예: 이미지 및 텍스트)에 대해 딥 오토에인코드어를 사용하여 복원 오차를 최소화함으로써 압축되고 분리된 표현을 학습한다.
• 쌍화되지 않은 인스턴스 간의 알려지지 않은 시각 간 쌍을 모델링하기 위해 잠재적 순열 행렬을 도입한다.
• 교차모달 종속성을 최대화하기 위해 통계적 종속성 측정법—커널 타겟 어울림(KTA)과 제곱손실 상호정보(SMI)—를 사용하여 쌍 행렬을 최적화한다.
• 백프로파게이션을 통해 오토에인코드어와 쌍 행렬을 엔드 투 엔드로 공동 학습함으로써 상호 개선을 유도한다: 더 나은 표현은 더 나은 쌍을 이끌고, 더 나은 쌍은 표현 품질을 향상시킨다.
• 추정된 쌍 행렬을 사용하여 비지도 설정에서 최종 분류기(예: SVM)를 훈련함으로써 새로운 비지도 분류기 학습(UCL) 작업을 가능하게 한다.
• 완전지도(완전한 쌍), 준지도(부분적 쌍), 비지도(쌍 없음)를 포함한 여러 학습 제도를 하나의 통합 아키텍처로 지원한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 쌍화되지 않은 다중모달 데이터에서 의미 있는 표현을 공동으로 학습하고, 개체 쌍을 추론할 수 있는가?
• RQ2 어떤 쌍화된 학습 데이터가 없을 경우 제안된 방법의 성능는 어떻게 되며, 지도 없이도 의미 있는 어울림을 달성할 수 있는가?
• RQ3 기존 대안 대비, 이 방법은 쌍화되지 않은 데이터를 얼마나 효과적으로 활용하여 준지도 및 비지도 설정에서 성능 향상을 이룰 수 있는가?
• RQ4 이 프레임워크는 이미지-카테고리 쌍이 제공되지 않는 조건에서 분류기를 훈련할 수 있는 새로운 학습 철학—비지도 분류기 학습—을 가능하게 할 수 있는가?
• RQ5 표현과 쌍의 공동 최적화는 교차모달 학습 과제에서 별도 또는 순차적 접근보다 더 나은 성능을 내는가?

주요 결과

• AwA 데이터셋에서 DMAE-SMI는 초기 쌍이 없는 비지도 설정에서 진짜 쌍 행렬 추정 시 정밀도 0.90, 재현도 0.84를 달성했다.
• AwA에서의 비지도 분류기 학습(UCL) 작업에서, 쌍화된 레이블이 없는 조건에서 DMAE-SMI는 테스트 정확도 32%를 기록했으며, 이는 2%의 우연 기반 기준보다 뚜렷이 높았다.
• CIFAR-10에서 DMAE-SMI는 10-40-10 준지도 설정(1만 개 레이블, 4만 개 레이블 없음)에서 86%의 정확도를 달성하여 Deep-MCCA(40%)와 MCCA(26%)를 모두 능가했다.
• 이행형 준지도 설정에서 DMAE-SMI는 비이행형 기반 모델 대비 최대 6% 향상되었으며, 쌍화되지 않은 테스트 데이터를 효과적으로 활용한 것으로 나타났다.
• 훈련 반복 과정에서 쌍 정확도가 단조롭게 향상되었으며, MCCA 및 Deep-MCCA와 같은 경쟁 방법 대비 DMAE-SMI는 더 빠르게 수렴하고 더 높은 성능에 도달했다.
• 이미지 캡션 벤치마크에서 DMAE는 DeepCCA 및 이중 브랜치 매칭 네트워크와 유사한 성능을 보이며, 지도 설정에서의 효과성을 입증했다.