[논문 리뷰] Visual Data Synthesis via GAN for Zero-Shot Video Classification

Chenrui Zhang, Yuxin Peng|arXiv (Cornell University)|2018. 04. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 11

한 줄 요약

이 논문은 제로샷 비디오 분류를 위한 GAN 기반의 시각적 데이터 합성 프레임워크를 제안하며, 다중 수준의 의미론적 추론과 매칭 인식 상호정보 상관관계를 활용하여 고품질의 합성 비디오 특징을 생성한다. 공동 시각-의미 분포를 모델링하고 이질성 갭을 완화함으로써, 네 개의 비디오 데이터셋에서 최신 기술 수준의 성능을 달성하며 기존의 투영 기반 접근 방식을 크게 능가한다.

ABSTRACT

Zero-Shot Learning (ZSL) in video classification is a promising research direction, which aims to tackle the challenge from explosive growth of video categories. Most existing methods exploit seen-to-unseen correlation via learning a projection between visual and semantic spaces. However, such projection-based paradigms cannot fully utilize the discriminative information implied in data distribution, and commonly suffer from the information degradation issue caused by "heterogeneity gap". In this paper, we propose a visual data synthesis framework via GAN to address these problems. Specifically, both semantic knowledge and visual distribution are leveraged to synthesize video feature of unseen categories, and ZSL can be turned into typical supervised problem with the synthetic features. First, we propose multi-level semantic inference to boost video feature synthesis, which captures the discriminative information implied in joint visual-semantic distribution via feature-level and label-level semantic inference. Second, we propose Matching-aware Mutual Information Correlation to overcome information degradation issue, which captures seen-to-unseen correlation in matched and mismatched visual-semantic pairs by mutual information, providing the zero-shot synthesis procedure with robust guidance signals. Experimental results on four video datasets demonstrate that our approach can improve the zero-shot video classification performance significantly.

연구 동기 및 목표

• 정보 손실과 이질성 갭으로 인해 성능이 저하되는 투영 기반 제로샷 비디오 분류 방법의 한계를 해결하기 위해.
• 미래의 카테고리에서의 강건한 비디오 특징 합성에 시각적 데이터 분포와 의미 지식을 함께 활용하기 위해.
• 합성 특징을 사용하여 제로샷 비디오 분류 문제를 지도 학습 문제로 변환함으로써 성능 향상을 위해.
• 제로샷 학습에서 흔히 발생하는 허브니스 문제를 악화시키는 것을 방지하기 위해, 적대적 훈련을 통해 특징의 구분 능력을 향상시키기 위해.

제안 방법

• 다중 수준의 의미론적 추론을 제안하여, 특징 수준 및 레이블 수준에서 양방향 합성(의미 → 시각, 시각 → 의미)을 수행함으로써 구분 가능한 특징를 포착한다.
• 매칭 인식 상호정보 상관관계(MMICC)를 도입하여, 일치 및 불일치하는 시각-의미 쌍에서 유도된 상호정보를 활용해 본래의 관계를 모델링한다.
• 조건부 GAN 프레임워크를 활용하여, 생성자는 의미 임bedding 조건 하에 비디오 특징을 합성하고, 적대적 훈련에 의해 이끌린다.
• 일치 쌍 간의 상호정보를 최대화하고 불일치 쌍 간의 상호정보를 최소화하여 강력한 가이드 신호를 제공한다.
• 생성자는 특징 공간 내에서 의미적으로 일치하고 구분적으로 분리된 합성 특징을 생성하도록 훈련된다.
• t-SNE 시각화와 아블레이션 연구를 통해 각 구성 요소가 허브니스를 줄이고 일반화 능력을 향상시키는 데 효과적임을 검증한다.

실험 결과

연구 질문

• RQ1 GAN 기반의 생성 모델링이 제로샷 비디오 분류에서 미사용 카테고리에 대해 구분 가능한 비디오 특징을 효과적으로 합성할 수 있는가?
• RQ2 시각적 데이터 분포와 의미 지식을 어떻게 통합하여 특징 합성의 강건성을 향상시킬 수 있는가?
• RQ3 매칭 인식 상호정보 상관관계는 제로샷 비디오 학습에서 이질성 갭과 정보 손실을 어느 정도 완화할 수 있는가?
• RQ4 기본 GAN 및 투영 기반 방법과 비교해 볼 때, 제안된 프레임워크는 허브니스 문제를 줄이는가?
• RQ5 합성 특징는 다양한 시각적 특징 유형(FV 및 딥 특징 등)과 데이터셋 간에 일반화 가능한가?

주요 결과

• UCF101 및 CCV 데이터셋에서, 제안된 방법은 딥 특징를 사용해 SVM으로 27.3% 및 22.3%의 Top-1 정확도를 달성하였으며, cGAN 기반선(13.9% 및 13.9%)과 실제 특징 기반선(11.9% 및 11.6%)을 크게 능가하였다.
• 아블레이션 연구 결과, 의미론적 추론과 MMICC를 결합한 조합이 가장 높은 성능(특징 벡터 기반 FV에서 UCF101의 mAP 28.8%)을 기록하여, 두 구성 요소의 상호보완적 이점이 입증되었다.
• t-SNE 시각화 결과, 제안된 방법에서 유도된 합성 특징는 기반선 방법보다 더 강한 군집화와 더 적은 겹침을 보였으며, 이는 허브니스 감소를 시사한다.
• 이 방법은 전통적인 FV와 딥 비디오 특징 모두에서 제로샷 성능을 향상시켜, 다양한 특징 유형 간의 강건성을 입증하였다.
• MMICC는 정보 손실 감소에 가장 효과적인 구성 요소로 밝혀졌으며, 단일 구성 요소 아블레이션 대비 상당한 성능 향상을 보였다.
• 이 프레임워크는 네 개의 비디오 데이터셋에서 최신 기술 수준의 결과를 달성하여, 일반화 능력과 제로샷 비디오 분류에서의 효과성을 확인하였다.