[논문 리뷰] DeMIAN: Deep Modality Invariant Adversarial Network

Kuniaki Saito, Yusuke Mukuta외 2명|arXiv (Cornell University)|2016. 12. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 4

한 줄 요약

DeMIAN는 이미지와 텍스트 모odal 간의 분포를 적대적 훈련을 통해 정렬함으로써 모달리티 불변 표현을 학습하는 딥 적대적 네트워크를 제안한다. 이는 쌍화된 샘플 관계와 도메인 적응 원리를 모두 활용한다. CUB-200-2011 및 SUN Attribute 데이터셋에서 제로샷 학습에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법 대비 정확도를 2-3% 향상시킨다.

ABSTRACT

Obtaining common representations from different modalities is important in that they are interchangeable with each other in a classification problem. For example, we can train a classifier on image features in the common representations and apply it to the testing of the text features in the representations. Existing multi-modal representation learning methods mainly aim to extract rich information from paired samples and train a classifier by the corresponding labels; however, collecting paired samples and their labels simultaneously involves high labor costs. Addressing paired modal samples without their labels and single modal data with their labels independently is much easier than addressing labeled multi-modal data. To obtain the common representations under such a situation, we propose to make the distributions over different modalities similar in the learned representations, namely modality-invariant representations. In particular, we propose a novel algorithm for modality-invariant representation learning, named Deep Modality Invariant Adversarial Network (DeMIAN), which utilizes the idea of Domain Adaptation (DA). Using the modality-invariant representations learned by DeMIAN, we achieved better classification accuracy than with the state-of-the-art methods, especially for some benchmark datasets of zero-shot learning.

연구 동기 및 목표

• 완전히 쌍화된 레이블이 없는 데이터를 요구하지 않고도, 이미지 및 텍스트와 같은 다양한 모달 간의 분류를 가능하게 하는 모달리티 불변 표현을 학습하는 것.
• 완전히 레이블이 매겨진 다중 모달 데이터셋을 수집하는 데 드는 높은 노동력 비용을 줄이기 위해, 부분적인 레이블 또는 쌍화된 샘플만 있는 데이터로 훈련하는 것.
• 모달 간 표현의 분포를 더 유사하게 만들어, 미리보지 않은 모달로의 일반화를 가능하게 함으로써 제로샷 학습 성능을 향상시키는 것.
• 도메인 적응(분포 정렬)과 다중 모달 학습(쌍화된 샘플 매칭)의 장점을 통합한 유일한 적대적 프레임워크에서 결합하는 것.

제안 방법

• DeMIAN는 다양한 모달(예: 이미지 및 텍스트)의 입력을 공통의 모달리티 불변 표현 공간으로 매핑하는 생성 네트워크 G를 사용한다.
• 다양한 모달에서 온 표현을 구분하는 모달리티 식별자 D를 활용하여, 생성자 G가 다양한 모달 간에 구분이 불가능한 특징을 생성하도록 유도한다.
• 공통 공간에서 쌍화된 샘플(예: 이미지와 해당 텍스트) 간의 거리를 최소화하도록 생성자를 훈련하며, 초모수 λ=10을 사용한 코사인 거리 기반 최소화를 적용한다.
• 생성자는 식별자의 오차를 최대화하도록 적대적 훈련을 통해 도메인 불변 표현을 촉진한다.
• 각 모달에 대해 별도의 인코더를 사용하며, 식별자의 공유된 히든 레이어를 통해 모달리티에 관계없는 특징 학습을 강제한다.
• 분류에 대한 교차 엔트로피 손실과 적대적 손실을 사용하여 엔드 투 엔드로 훈련하며, 가중치 감쇠와 고정된 학습률 2.0×10⁻⁴를 적용한다.

실험 결과

연구 질문

• RQ1 완전한 레이블이나 쌍화된 샘플이 없는 부분적인 다중 모달 데이터로부터 모달리티 불변 표현을 효과적으로 학습할 수 있는가?
• RQ2 모달 간 분포 정렬을 위한 적대적 훈련이 기존 방법 대비 제로샷 분류 성능을 향상시키는가?
• RQ3 쌍화된 샘플 매칭과 도메인 적응 원리의 조합이 교차 모달 전이 학습에서 더 나은 일반화를 이끌 수 있는가?
• RQ4 훈련에 사용 가능한 레이블 샘플의 비율이 매우 낮을 경우, 제안된 방법의 성능가지가 얼마나 견고한가?

주요 결과

• CUB-200-2011 데이터셋에서 DeMIAN는 이전 방법 대비 약 3%의 제로샷 인식 정확도 향상을 기록하며 최신 기술 수준(SOTA)을 달성했다.
• SUN Attribute 데이터셋에서 DeMIAN는 약 2%의 제로샷 정확도 향상을 기록했으며, 앙상블 모델이 필요한 이전 최신 기술 수준 방법을 뛰어넘었다.
• SUN Attribute 검색 기반 분류 작업에서 DeMIAN는 Socher 등 [30]의 결과를 제외한 모든 클래스 쌍(고양이-트럭 제외)에서 더 높은 정확도를 달성하여 강력한 일반화 능력을 입증했다.
• t-SNE 시각화 결과 DeMIAN가 학습한 표현은 VGG-특징보다 클래스별로 더 잘 군집되어 있으며, 클래스 간 분리도 뚜렷했다.
• 레이블 샘플의 0.5%만으로도 DeMIAN는 최신 기술 수준 방법 [38]과 유사한 성능을 유지하여 뛰어난 샘플 효율성을 보였다.
• 식별자가 공통 표현 공간에서 모달 간의 차이를 구분하지 못함으로써, 모델이 효과적인 분포 정렬을 수행하고 있음을 입증했다.