[논문 리뷰] Semantic Embedding Space for Zero-Shot Action Recognition

Xun Xu, Timothy M. Hospedales외 1명|arXiv (Cornell University)|2015. 02. 05.

Human Pose and Action Recognition참고 문헌 10인용 수 17

한 줄 요약

이 논문은 단일 벡터 공간에 동작 레이블을 매핑하기 위해 word2vec을 활용하고, 비디오 특징을 이 공간으로 투영하기 위해 서포트 벡터 회귀를 사용하는 의미적 임베딩 공간(SES) 프레임워크를 제안한다. HMDB51과 UCF101에서 자기학습과 데이터 증강을 결합함으로써, 최신 기술 수준의 제로샷 정확도(21.2% on HMDB51 및 18.6% on UCF101)를 달성하며, 이는 이전의 속성 기반 및 기준 SES 접근 방식을 크게 능가한다.

ABSTRACT

The number of categories for action recognition is growing rapidly. It is thus becoming increasingly hard to collect sufficient training data to learn conventional models for each category. This issue may be ameliorated by the increasingly popular 'zero-shot learning' (ZSL) paradigm. In this framework a mapping is constructed between visual features and a human interpretable semantic description of each category, allowing categories to be recognised in the absence of any training data. Existing ZSL studies focus primarily on image data, and attribute-based semantic representations. In this paper, we address zero-shot recognition in contemporary video action recognition tasks, using semantic word vector space as the common space to embed videos and category labels. This is more challenging because the mapping between the semantic space and space-time features of videos containing complex actions is more complex and harder to learn. We demonstrate that a simple self-training and data augmentation strategy can significantly improve the efficacy of this mapping. Experiments on human action datasets including HMDB51 and UCF101 demonstrate that our approach achieves the state-of-the-art zero-shot action recognition performance.

연구 동기 및 목표

• 학습 데이터 없이도 새로운 비디오 동작을 인식하는 문제에 대응하기 위해, 행동 카테고리의 복잡성과 데이터 수집 비용이 급격히 증가하고 있는 상황에서의 도전 과제를 해결한다.
• 이미지 인식에서 주로 사용된 바 있는 의미적 임베딩 공간(SES) 패러다임을, 시각-의미 맵핑이 더 복잡한 비디오 동작 인식으로 확장한다.
• 시각-의미 공간 회귀의 강건성과 전이 가능성 향상으로써, 제로샷 비디오 인식에서 발생하는 도메인 이동 및 일반화 과제를 해결한다.
• 간단한 자기학습 및 데이터 증강 전략이 SES 기반 제로샷 동작 인식 성능을 크게 향상시킬 수 있음을 입증한다.
• 제로샷 설정뿐 아니라 일반적인 다중샷 학습 설정에서도 프레임워크를 검증하여, 감독 학습 설정에서도 경쟁 가능한 성능을 보임을 보여준다.

제안 방법

• 1000억 단어의 코퍼스에서 학습된 word2vec을 사용하여 클래스 이름을 $d_z$차원의 의미 공간에 임베딩하며, 다중어 단어 레이블은 평균화하여 단일 벡터로 처리한다.
• 저수준의 시공간 특징(예: MBH, HOG)에서 의미적 임베딩 공간으로의 매핑 $f: x \to z$를 학습하기 위해 서포트 벡터 회귀(SVR)를 사용한다.
• 목표 데이터셋(HMDB51 등)과 보조 데이터셋(UCF101 등)을 함께 학습함으로써 데이터 증강을 적용하여, 다양한 도메인 간 일반화 능력을 향상시킨다.
• 초기 회귀기의 예측을 활용하여 의미 공간 내의 프로토타입 표현을 개선함으로써 자기학습을 도입하여, 알려지지 않은 클래스 인스턴스와 그 프로토타입 간의 정렬을 향상시킨다.
• t-SNE 시각화를 통해 증강된 데이터와 자기학습이 의미 공간 내에서 알려지지 않은 클래스 샘플들이 프로토타입 주변에 더 단단히 군집화됨을 정성적으로 검증한다.
• 제로샷 및 다중샷 평가 모두에 표준적인 훈련/테스트 분할을 사용하며, 의미 공간 내에서 최근접 이웃 매칭을 통해 분류를 수행한다.

실험 결과

연구 질문

• RQ1 시공간 특징을 의미 벡터로 매핑하는 데 있어 복잡성에도 불구하고, 의미적 임베딩 공간이 제로샷 비디오 동작 인식에 효과적으로 활용될 수 있는가?
• RQ2 여러 데이터셋(HMDB51 및 UCF101 등) 간의 데이터 증강이 제로샷 인식에서 시각-의미 회귀기의 일반화 능력을 어떻게 향상시키는가?
• RQ3 자기학습이 의미 공간 내 프로토타입 표현을 얼마나 정교하게 개선하여, 알려지지 않은 동작 카테고리에서의 성능 향상에 기여하는가?
• RQ4 제안된 SES 기반 접근 방식은 전통적인 속성 기반 ZSL 방법과 비교해 볼 때, 제로샷 정확도와 확장성 측면에서 어떻게 다른가?
• RQ5 동일한 의미적 임베딩 프레임워크가 표준 다중샷 감독 학습 동작 인식에서도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 HMDB51에서 평균 정확도 21.2% ± 3.0%를 기록하여, 기준 NN 방법(15.0% ± 3.0%)과 속성 기반 방법(DAP: UCF101에서 14.3% ± 1.9%)을 크게 앞서며 최신 기술 수준의 제로샷 동작 인식 성능을 달성한다.
• UCF101에서는 18.6% ± 2.2%의 제로샷 정확도를 기록하여, NN+ST 기준(15.8% ± 2.3%)과 DAP 방법(14.3% ± 1.9%)을 모두 초월한다.
• 데이터 증강과 자기학습의 조합(NN+ST+Aux)이 가장 높은 성능을 보이며, 두 전략이 알려지지 않은 동작 카테고리에 대한 견고한 일반화를 위해 필수적임을 입증한다.
• 정성적 t-SNE 시각화 결과, 데이터 증강은 의미 공간 내에서 알려지지 않은 클래스 인스턴스와 프로토타입 간의 거리를 줄이고, 자기학습은 프로토타입 정렬을 추가로 향상시킴을 확인한다.
• 다중샷 학습에서는 HMDB51에서 44.5%의 정확도, UCF101에서 73.7%의 정확도를 기록하여, 저수준 특징 기반 최신 기술 수준의 방법(47.2% on HMDB51)과 경쟁 가능하며, 속성 기반 방법(69.7% on UCF101)보다도 뛰어난 성능을 보였다.
• 결과적으로, 자기학습과 데이터 증강을 결합한 의미적 임베딩 공간은 복잡한 비디오 동작에 대해 속성 기반 ZSL 대비 확장성 있고 효과적인 대안임을 보여준다.