[논문 리뷰] Metric-Based Few-Shot Learning for Video Action Recognition

Chris Careaga, Brian Hutchinson외 2명|arXiv (Cornell University)|2019. 09. 14.

Human Pose and Action Recognition참고 문헌 38인용 수 19

한 줄 요약

이 논문은 두 개의 스트림 영상 인코더와 풀드된 LSTM, 프로토타입 네트워크를 사용하여 영상 행동 인식를 위한 메트릭 기반 소수의 샘플 학습 프레임워크를 제안한다. Kinetics 600의 소수의 샘플 분할을 사용하여 5-way 5-shot 작업에서 84.2%의 정확도를 달성하며, 단순하고 효율적인 아키텍처가 훨씬 적은 파라미터로 최신 기술 수준의 성능을 달성할 수 있음을 보여준다.

ABSTRACT

In the few-shot scenario, a learner must effectively generalize to unseen classes given a small support set of labeled examples. While a relatively large amount of research has gone into few-shot learning for image classification, little work has been done on few-shot video classification. In this work, we address the task of few-shot video action recognition with a set of two-stream models. We evaluate the performance of a set of convolutional and recurrent neural network video encoder architectures used in conjunction with three popular metric-based few-shot algorithms. We train and evaluate using a few-shot split of the Kinetics 600 dataset. Our experiments confirm the importance of the two-stream setup, and find prototypical networks and pooled long short-term memory network embeddings to give the best performance as few-shot method and video encoder, respectively. For a 5-shot 5-way task, this setup obtains 84.2% accuracy on the test set and 59.4% on a special "challenge" test set, composed of highly confusable classes.

연구 동기 및 목표

• 소수의 샘플 영상 분류에서의 진전에도 불구하고 소수의 샘플 영상 행동 인식에 대한 연구가 부족한 점을 해결하기 위해.
• 다양한 영상 인코더 아키텍처와 메트릭 기반 소수의 샘플 학습 방법이 소수의 샘플 영상 작업에서 어떻게 성능을 내는지 평가하기 위해.
• 소수의 샘플 영상 표현 학습에서 광학 흐름과 프레임 레이트의 역할을 조사하기 위해.
• 간결하고 효율적인 경량 모델이 소수의 샘플 영상 인식에서 최신 기술 수준의 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 외관 및 운동 특징를 캡처하기 위해 RGB와 광학 흐름 입력을 사용하는 두 개의 스트림 영상 인코더를 사용한다.
• 프레임 수준의 특징을 시간적 영상 수준의 임베딩으로 통합하기 위해 풀드된 LSTM 네트워크를 활용한다.
• 분류를 위해 세 가지 메트릭 기반 소수의 샘플 학습 방법—프로토타입 네트워크, 매칭 네트워크, 학습된 메트릭 네트워크—를 적용한다.
• 5-way 5-shot 에피소드를 사용하여 Kinetics 600 데이터셋의 소수의 샘플 분할에서 에피소드 기반 메타학습을 통해 모델을 훈련시킨다.
• 프레임 수준 임베딩의 통합 전략으로 특징 평균화, LSTM, ConvLSTM, 3D 컨볼루션을 사용한다.
• 일반 테스트 세트와 매우 혼동하기 쉬운 행동 클래스를 포함한 도전적인 테스트 세트에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 영상 인코더 아키텍처가 소수의 샘플 영상 행동 인식 성능에 미치는 영향은 어떠한가?
• RQ2 소수의 샘플 영상 학습에서 RGB와 광학 흐름 스트림의 상대적 기여도는 무엇인가?
• RQ3 1 fps를 초과하는 프레임 레이트를 증가시키면 소수의 샘플 영상 인식 정확도가 향상되는가?
• RQ4 복잡한 백본 없이도 프로토타입 네트워크와 같은 단순한 메트릭 기반 방법이 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 일반 클래스 대비 매우 혼동하기 쉬운 행동 클래스에서 모델 성능은 어떻게 떨어지는가?

주요 결과

• 풀드된 LSTM 영상 인코더와 프로토타입 네트워크의 조합이 5-way 5-shot 작업에서 일반 테스트 세트에서 가장 높은 정확도인 84.2%를 달성한다.
• 매우 혼동하기 쉬운 행동으로 구성된 도전적인 테스트 세트에서는 정확도가 59.4%로 크게 떨어지며, 미세한 행동 인식의 곤란함을 보여준다.
• RGB 없이 광학 흐름만 사용할 경우 성능이 19.6% 감소하여 운동 특징가 외관 특징보다 더 중요함을 시사한다.
• 1 fps 입력 대신 단일 프레임을 사용할 경우 정확도가 약 10% 감소하여 시간적 맥락이 소수의 샘플 영상 학습에서 필수적임을 보여준다.
• 1 fps를 초과하여 프레임 레이트를 높여도 성능 향상이 유의미하지 않아, 1 fps가 효과적인 소수의 샘플 학습에 충분함을 시사한다.
• 프레임 임베딩의 단순 평균화는 LSTM 통합과 거의 동일한 효과를 보이며, 복잡한 시간적 모델링이 항상 필요하지 않음을 시사한다.