[논문 리뷰] Alternative Semantic Representations for Zero-Shot Human Action Recognition

Qian Wang, Ke Chen|arXiv (Cornell University)|2017. 06. 28.

Human Pose and Action Recognition참고 문헌 22인용 수 4

한 줄 요약

이 논문은 웹 검색된 이미지에서 추출한 텍스트 기술 및 딥 이미지 특징을 사용하여 제로샷 인간 행동 인식을 위한 대체 의미 표현을 제안하며, 기존의 속성과 워드 벡터보다 뛰어난 성능을 보인다. 웹에 접근 가능한 보조 정보를 활용하고, 피셔 벡터 또는 평균 풀링을 통해 인코딩함으로써, 특히 클래스당 5~20장의 이미지만으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A proper semantic representation for encoding side information is key to the success of zero-shot learning. In this paper, we explore two alternative semantic representations especially for zero-shot human action recognition: textual descriptions of human actions and deep features extracted from still images relevant to human actions. Such side information are accessible on Web with little cost, which paves a new way in gaining side information for large-scale zero-shot human action recognition. We investigate different encoding methods to generate semantic representations for human actions from such side information. Based on our zero-shot visual recognition method, we conducted experiments on UCF101 and HMDB51 to evaluate two proposed semantic representations . The results suggest that our proposed text- and image-based semantic representations outperform traditional attributes and word vectors considerably for zero-shot human action recognition. In particular, the image-based semantic representations yield the favourable performance even though the representation is extracted from a small number of images per class.

연구 동기 및 목표

• 제로샷 인간 행동 인식에서 기존의 속성과 워드 벡터와 같은 전통적 의미 표현 방식의 한계를 해결하기 위해.
• 웹 검색을 통해 접근 가능한 대체적이고 확장 가능한 보조 정보 원천—텍스트 기술 및 동작 관련 이미지—를 탐색하기 위해.
• 이러한 보조 정보가 의미 간 격차를 메우고 제로샷 인식 성능을 향상시킬 수 있는지 평가하기 위해.
• 클래스당 소수의 이미지만으로도 강력한 의미 표현을 도출할 수 있음을 입증하기 위해.

제안 방법

• 행동 클래스 이름을 검색 쿼리로 사용하여 웹에서 인간 행동의 텍스트 기술을 수집한다.
• 사전 훈련된 CNN(예: GoogLeNet)를 사용하여 웹 검색을 통해 확보한 정적 이미지에서 딥 컨volutional 특징을 추출한다.
• 피셔 벡터(FV) 또는 평균 풀링을 사용하여 이미지 특징을 인코딩하여 의미 표현을 형성한다.
• 웹 기사에서 확보한 맥락 기반 텍스트 기술과 함께 워드 벡터를 향상시킨다.
• 시각적 특징을 의미 임베딩으로 매핑하면서 의미 거리 관계를 유지하는 제로샷 학습 프레임워크를 사용한다.
• UCF101과 HMDB51에서 유도적 및 비유도적 ZSL 설정 모두에서 이미지 기반 및 텍스트 기반 의미 표현을 적용한다.

실험 결과

연구 질문

• RQ1 표준 워드 벡터에 비해 웹에서 확보한 텍스트 기술이 제로샷 인간 행동 인식을 위한 의미 표현 향상에 기여하는가?
• RQ2 웹 검색에서 확보한 동작 관련 이미지가 제로샷 행동 인식을 위한 효과적인 보조 정보가 될 수 있는가?
• RQ3 클래스당 이미지 수가 이미지 기반 의미 표현의 성능에 어떤 영향을 미치는가?
• RQ4 이미지 기반 표현이 제로샷 행동 인식에서 속성 기반 및 워드 벡터 기반 표현보다 우수한가?
• RQ5 이미지 기반 및 텍스트 기반 표현의 조합이 성능 향상에 기여하는가?

주요 결과

• 이미지 기반 의미 표현은 UCF101과 HMDB51 양쪽에서 기존의 속성과 워드 벡터를 뛰어넘으며, UCF101의 비유도 설정에서 58.57±1.50%의 정확도를 달성한다.
• 클래스당 5장의 이미지만으로도 이미지 기반 표현이 워드 벡터와 속성을 능가하며, 클래스당 40장까지 성능 향상이著명하게 이루어진다.
• HMDB51에서는 클래스당 20장의 이미지를 사용할 경우 이미지 기반 표현이 워드 벡터를 초월하며, 약 80장에서 성능이 정점에 이르러 정체된다.
• 피셔 벡터 인코딩(FFV)과 평균 특징 벡터( AFV)를 사용한 이미지 기반 표현의 성능은 이미지 수가 많아질수록 향상되나, 클래스당 40~80장 이상에서는 성능 향상 폭이 점점 줄어든다.
• 텍스트 기반 표현은 이미지 기반 표현만큼 효과적이지는 않지만, 맥락 기반 웹 텍스트와 결합된 경우 워드 벡터와 속성을 능가한다.
• 초기 실험에서 이미지 기반 및 텍스트 기반 표현의 조합은 이미지 기반 표현만을 사용한 경우보다 성능 향상이 없었으며, 이는 상호 보완성이 부족하거나 더 나은 융합 전략이 필요함을 시사한다.