[논문 리뷰] GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition

Bin Sun, Dehui Kong외 4명|arXiv (Cornell University)|2021. 05. 25.

Human Pose and Action Recognition참고 문헌 48인용 수 7

한 줄 요약

이 논문은 조건부 워셔스타인 GAN을 사용해 미지의 동작 특징을 생성하고 지식 그래프에서 그래프 주의망을 적용하여 의미 일반화를 향상시키는 두 단계의 딥 네트워크인 FGGA를 제안한다. 이 방법은 특징 생성과 동적 관계 모델링을 결합하여 UCF101에서 37.6%의 조화 평균 정확도와 HMDB51에서 36.4%의 정확도를 기록하며 최신 기술을 초월한다.

ABSTRACT

Zero-shot action recognition can recognize samples of unseen classes that are unavailable in training by exploring common latent semantic representation in samples. However, most methods neglected the connotative relation and extensional relation between the action classes, which leads to the poor generalization ability of the zero-shot learning. Furthermore, the learned classifier incline to predict the samples of seen class, which leads to poor classification performance. To solve the above problems, we propose a two-stage deep neural network for zero-shot action recognition, which consists of a feature generation sub-network serving as the sampling stage and a graph attention sub-network serving as the classification stage. In the sampling stage, we utilize a generative adversarial networks (GAN) trained by action features and word vectors of seen classes to synthesize the action features of unseen classes, which can balance the training sample data of seen classes and unseen classes. In the classification stage, we construct a knowledge graph (KG) based on the relationship between word vectors of action classes and related objects, and propose a graph convolution network (GCN) based on attention mechanism, which dynamically updates the relationship between action classes and objects, and enhances the generalization ability of zero-shot learning. In both stages, we all use word vectors as bridges for feature generation and classifier generalization from seen classes to unseen classes. We compare our method with state-of-the-art methods on UCF101 and HMDB51 datasets. Experimental results show that our proposed method improves the classification performance of the trained classifier and achieves higher accuracy.

연구 동기 및 목표

• 행동 클래스 간 무시된 의미 관계로 인한 제로샷 동작 인식의 일반화 능력 저하 문제를 해결하기 위해.
• 학습 중에 미지 클래스의 특징을 합성함으로써 클래스 불균형 문제를 완화하기 위해.
• 구조화된 지식 그래프 관계를 활용해 미지 클래스에 대한 분류기 성능을 향상시키기 위해.
• 주목적 기반 그래프 컨볼루션 네트워크를 사용해 행동과 물체 간의 관계를 동적으로 모델링하기 위해.
• 시각적 특징와 의미적 워드 벡터를 통합해 시각과 지식 표현 간의 의미 다리 역할을 하여 제로샷 전이를 가능하게 하기 위해.

제안 방법

• 추가 손실 항목을 포함한 조건부 워셔스타인 GAN이 본 클래스의 특징과 워드 벡터를 사용해 미지 행동 클래스의 합성 특징을 생성한다.
• 행동 클래스와 관련 물체의 워드 벡터에서 지식 그래프를 구축하여 연관적이고 확장적 의미 관계를 인코딩한다.
• 주목적 메커니즘을 갖춘 그래프 컨볼루션 네트워크가 노드 표현과 에지 가중치를 동적으로 업데이트하여 지식 그래프 내 변화하는 관계를 모델링한다.
• 워드 벡터는 시각적 특징과 의미 지식 간의 다중 모odal 브리지 역할을 하며, 본 클래스에서 미지 클래스로의 제로샷 전이를 가능하게 한다.
• 두 단계 프레임워크는 먼저 샘플링 단계에서 합성 특징을 생성하고, 그 다음 분류 단계에서 주목적 기반 GCN을 사용해 분류한다.
• 특징 생성의 안정성과 일반화 향상을 위해 사이클 일致성 손실과 적대적 손실을 함께 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 생성적 적대적 네트워크가 훈련 데이터의 균형을 맞추기 위해 실제적인 특징을 효과적으로 합성할 수 있는가?
• RQ2 동적 관계 모델링을 갖춘 지식 그래프가 정적 그래프 구조를 초월해 제로샷 일반화를 향상시킬 수 있는가?
• RQ3 시각적 특징과 의미 워드 벡터를 통합하면 미지 행동 클래스에 대한 분류기 성능이 어떻게 향상되는가?
• RQ4 고정된 인접 행렬에 비해 GCN 내 주목적 메커니즘이 행동-물체 관계 모델링에 얼마나 더 우수한가?
• RQ5 특징 생성과 지식 그래프 추론의 조합이 최신 기술 대비 우수한 제로샷 인식 정확도를 달성하는가?

주요 결과

• FGGA는 UCF101에서 37.6%의 조화 평균 정확도와 HMDB51에서 36.4%의 정확도를 기록하며, CEWGAN 및 CLSWGAN를 포함한 최신 기술을 초월한다.
• 절단 실험을 통해 특징 생성 네트워크와 그래프 주목적 메커니즘이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어진다.
• 워드 벡터를 GoogleNews에서 재학습한 경우에도 모델은 강건한 성능을 유지하며, HMDB51에서 31.5%, UCF101에서 27.8%의 정확도를 기록한다.
• 최적의 성능은 특징 차원 수가 4096일 때 달성되며, 낮은 차원(예: 512)은 열악한 결과를 초래하고, 3~4층을 초월한 깊은 GCN 레이어는 과적합을 유도한다.
• 그래프 주목적 메커니즘은 노드 간 관계의 동적 적응을 가능하게 하여 고정된 GCN 모델 대비 일반화 능력을 향상시킨다.
• GAN 훈련에 사이클 일치성 손실를 포함시켜 특징 생성의 안정성을 높이고, 미지 클래스에 대한 분류기 일반화 능력을 향상시켰다.