[논문 리뷰] Elaborative Rehearsal for Zero-shot Action Recognition

Shizhe Chen, Dong Huang|arXiv (Cornell University)|2021. 08. 05.

Human Pose and Action Recognition참고 문헌 51인용 수 4

한 줄 요약

이 논문은 액션 클래스에 대해 구분력 있는 개선된 서술문(Elaborative Descriptions, EDs)을 생성하고 영상에서 검출된 객체로부터 개선된 개념(Elaborative Concepts, ECs)을 통합함으로써 일반화 능력을 향상시키는 Elaborative Rehearsal (ER)-강화된 제로샷 액션 인식 모델을 제안한다. 사전 훈련된 BERT를 사용해 ED를 인코딩하고, 시간적 및 객체 스트림을 갖춘 통합된 비디오 특징 학습 프레임워크를 활용함으로써, 다양한 벤치마크에서 최고 성능을 달성하며, Kinetics ZSAR에서 1-shot 지도 학습 베이스라인을 능가하는 강력한 일반화 능력을 보여준다.

ABSTRACT

The growing number of action classes has posed a new challenge for video understanding, making Zero-Shot Action Recognition (ZSAR) a thriving direction. The ZSAR task aims to recognize target (unseen) actions without training examples by leveraging semantic representations to bridge seen and unseen actions. However, due to the complexity and diversity of actions, it remains challenging to semantically represent action classes and transfer knowledge from seen data. In this work, we propose an ER-enhanced ZSAR model inspired by an effective human memory technique Elaborative Rehearsal (ER), which involves elaborating a new concept and relating it to known concepts. Specifically, we expand each action class as an Elaborative Description (ED) sentence, which is more discriminative than a class name and less costly than manual-defined attributes. Besides directly aligning class semantics with videos, we incorporate objects from the video as Elaborative Concepts (EC) to improve video semantics and generalization from seen actions to unseen actions. Our ER-enhanced ZSAR model achieves state-of-the-art results on three existing benchmarks. Moreover, we propose a new ZSAR evaluation protocol on the Kinetics dataset to overcome limitations of current benchmarks and demonstrate the first case where ZSAR performance is comparable to few-shot learning baselines on this more realistic setting. We will release our codes and collected EDs at https://github.com/DeLightCMU/ElaborativeRehearsal.

연구 동기 및 목표

• 사전에 알려지지 않은 액션에 대해 훈련 데이터가 전혀 없는 제로샷 액션 인식(ZSAR) 문제를 해결하기 위해.
• 모호한 워드 임베딩이나 수동 속성 외의 더 나은 액션 클래스의 의미적 표현을 향상시키기 위해.
• 사전 훈련된 이미지 모델에서 유도된 객체 수준의 개념을 통합함으로써 영상 의미적 표현을 향상시키기 위해.
• 인간의 기억 복습 방식을 모방하는 훈련 목표를 개발하여, 알려지지 않은 액션으로의 일반화 능력을 향상시키기 위해.
• 1-shot 학습 베이스라인과 비교할 수 있는 더 현실적인 Kinetics ZSAR 벤치마크를 구축하기 위해.

제안 방법

• 간단한 클래스 이름보다 더 구분력 있고 맥락이 풍부한 텍스트 표현을 얻기 위해, 사전 훈련된 BERT를 사용해 각 액션 클래스에 대해 개선된 서술문(EDs)을 생성한다.
• 사전 훈련된 이미지 분류기로 영상 내 객체를 검출하고, 그들의 클래스 이름을 개선된 개념(ECs)으로 사용하여 영상 의미를 풍부하게 한다.
• TSM을 통해 시공간 영상 특징을, ResNet을 통해 객체 특징을 각각 인코딩하는 이중 스트림 네트워크를 사용하며, 다중모달 채널 주의 메커니즘을 통해 이를 융합한다.
• 영상 특징이 액션 EDs와 ECs 양쪽과 정렬되도록 유도하는 개선된 복습(ER) 손실을 도입함으로써, 의미적 복습을 통해 일반화 능력을 향상시킨다.
• EDs와 ECs를 위한 공유된 임베딩 공간을 사용하여 다중모달 정렬을 가능하게 하고, 알려지지 않은 액션으로의 전이 능력을 향상시킨다.
• 제로샷 일반화를 동시에 최적화하기 위해 영상-액션 쌍에 대한 대비 손실과 ER 손실을 함께 사용해 모델을 훈련시킨다.

Figure 1 : Attributes and word embeddings are insufficient to semantically represent action classes. Our Elaborative Rehearsal approach defines actions by Elaborative Descriptions (EDs) and associates videos with Elaborative Concepts (ECs, known concepts detected from the video), which improve video

실험 결과

연구 질문

• RQ1 더 표현력 있는 텍스트 서술문(EDs)이 간단한 워드 임베딩을 넘어서 제로샷 액션 인식 성능을 향상시킬 수 있는가?
• RQ2 이미지 모델에서 유도된 객체 수준의 의미적 개념(ECs)이 ZSAR에서 영상 표현과 일반화 능력을 향상시킬 수 있는가?
• RQ3 인간의 기억 복습 방식을 모방한 훈련 목표(ER 손실)가 알려지지 않은 액션으로의 일반화 능력을 향상시킬 수 있는가?
• RQ4 제안된 ZSAR 모델은 현실적인 환경에서 1-shot 지도 학습 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 방법이 레이블이 전혀 없는 다양한 액션 클래스에 대해 효과적으로 일반화될 수 있는가?

주요 결과

• ER-강화 ZSAR 모델은 올림픽 스포츠, HMDB51, UCF101 벤치마크에서 최고 성능을 기록했으며, UCF101에서 상위-1 정확도 87.2%를 달성했다.
• BERT를 사용해 ED를 인코딩함으로써 GloVe 기반 풀링 방법보다 성능 향상이 뚜렷하게 향상되었으며, 액션 서술어의 맥락 이해의 유용성을 입증했다.
• ER 손실은 특히 알려지지 않은 액션에서 제로샷 일반화 능력을 크게 향상시켜 의미적 복습의 효과를 입증했다.
• 다중모달 주의를 통한 시공간(ST) 및 객체 특징 융합이 가장 높은 성능을 내었으며, 개별 모달리티보다 뛰어난 성능을 보였다.
• 모델는 Kinetics ZSAR에서 1-shot 지도 학습 베이스라인을 능가했으며, 훈련 데이터 없이도 상위-1 정확도 42.1%를 기록했지만, 여전히 2-shot 지도 학습 모델에 뒤지지 않았다.
• EDs는 객체 표현에도 유용한 것으로 나타났으며, 객체 클래스 이름을 ED로 대체함으로써 성능 향상이 이루어졌고, 이는 개선된 서술 표현의 보편적 유용성을 시사한다.

Figure 2 : Architecture of our ER-enhanced ZSAR model. The action class embedding function (left) extends action names to EDs towards action class embedding $z$ . The multimodal video embedding function generates spatio-temporal and object features $[x_{vo},x_{ov}]$ (middle) for the video. The ER lo